Sylvain Kahane « Un treebank multicouche : annotation macrosyntaxique, microsyntaxique et prosodique du français parlé »

Sylvain Kahane est Professeur en Sciences du Langage à l’Université Paris Ouest – Nanterre et membre du laboratoire Modyco (CNRS UMR 7114).

Support de présentation de Sylvain Kahane : PDF

Podcast :

Résumé de l’intervention :

Nous présenterons les différentes couches d’annotation du treebank Rhapsodie, un corpus de français parlé richement annoté. Le corpus contient plusieurs niveaux de segmentation indépendants : en unités illocutoires pour la macrosyntaxe, en unités rectionnelles pour la microsyntaxe, en périodes, paquets intonatifs et groupes accentuels pour la prosodie. Les unités rectionnelles sont analysées en dépendance, avec un traitement fin des phénomènes d’entassements (coordination, reformulation, négociation). Nous regarderons tout particulièrement les cas de non-concordance entre les différents niveaux de segmentation.

treebank_rhapsodieApprofondir :

Explorer le treebank Rhapsodie : http://projet-rhapsodie.fr/

Carole Etienne : “Clapi : les évolutions d’une banque de données orales outillée”

Carole Etienne est ingénieur de recherche au laboratoire ICAR (UMR 5191 – CNRS / Université Lyon 2 / ENS Lyon / IFÉ)

Support de présentation de Carole Etienne : PDF

Podcast :

Interview de Carole Etienne par Gabriel Bergounioux : partie 1, partie 2

Résumé de l’intervention :

Les études des interactions sociales développées au laboratoire ICAR portent sur des situations quotidiennes d’échange dans différents contextes (milieu professionnel, milieu médical, institutions, commerces, situations de classe, cadre privé, …). Il s’agit de données écologiques collectées dans leur naturalité, enregistrées ou filmées dans le lieu où elles se produisent et non provoquées par le chercheur en vue de sa recherche. Ces enregistrements ont été organisés et enrichiclapi_1s pour devenir des corpus multimodaux accessibles en ligne dans la plateforme CLAPI (Corpus de LAngue Parlée en Interaction, http://clapi.univ-lyon2.fr) où un ensemble d’outils de requêtes basés sur leurs transcriptions permet d’étudier leur contenu, de dégager des récurrences et d’aider le chercheur à identifier les objets d’analyse.

La nouvelle version de CLAPI, mise en ligne en Novembre 2012, propose une nouvelle interface plus ergonomique pour explorer ces données complexes (plus de 70 descripteurs) et leurs outils de requêtes (jusqu’à 30 critères). Au-delà de l’ergonomie, l’enjeu de cette évolution est d’intégrer les nouvelles données multimodales et les contraintes juridiques auxquelles ces données audiovisuelles sont soumises tout en répondant aux besoins des nouveaux projets. clapi-2

La mise à disposition et la diffusion d’une telle plateforme pose le problème crucial de son enrichissement et de la gestion de ses évolutions qu’il s’agisse d’intégrer des corpus recueillis avec de nouvelles exigences techniques ou de développer de nouveaux outils de requêtes utilisés dans différents projets de recherche par différentes communautés scientifiques.

Crédits : images tirées du support de présentation de Carole Etienne

Approfondir :

Explorer la plateforme CLAPI : http://clapi.univ-lyon2.fr

En savoir plus sur les corpus de langue parlée en interaction : site CORINTE

Lou Burnard : “Encoder l’oral en TEI : démarches, avantages, défis….”

Lou Burnard, a travaillé au sein de l’Oxford University Computing Services (OUCS) de 1975 à 2010. Très impliqué dans les « digital humanities » depuis les années 1990, il est notamment l’un des pères fondateurs du Text Encoding Initiative (TEI), du Arts and Humanities Data Service , et du British National Corpus. Il a rejoint le TGE Adonis en 2009, où il travaille à mi-temps.

Support de présentation : PDF

podcast :

Entretien avec Lou Burnard par Gabriel Bergounioux : partie 1, partie 2

Pour clore le séminaire annuel, Lou Burnard est venu nous présenter à la BnF les propositions de la TEI pour l’encodage des documents sonores et oraux. Un enjeu qu’il resitue dans la série complexe d’opérations techniques et conceptuelles relatives au traitement des sources orales par les chercheurs. Ce processus inclut :

–   Des techniques d’enregistrement de signaux sonores.

–  La nécessaire contextualisation de ces sources en vue de leur exploitation selon des angles d’approches multiples : historique, linguistique, anthropologique, etc.

–   Et enfin, l’important travail de transcription qui permet de décrire et de structurer l’oral sous une forme textuelle.

Ce travail de transcription à partir duquel l’encodage de l’oral devient possible dépend d’un processus de réécriture des énoncés oraux qui, comme le souligne Lou Burnard, suppose des choix et s’apparente déjà à un acte d’interprétation.

L’oral constitue en effet un objet particulièrement hétérogène qui renvoie à des styles de communication plus ou moins structurés : entretiens informels, fragments de conversation capturés avec des micros cachés, interviews, débats, interactions transactionnelles (achat), etc. Que va-t-on décider de représenter avant tout? Le contenu du message (analyse socio-historique) ou bien la manière dont il est exprimé (analyse linguistique) ? Sur quelle méthode de transcription orthographique va-t-on s’appuyer pour justifier la démarche de recherche ? Et jusqu’à quel degré de détail engager la description ?

Des figures de style qui structurent la conversation, en passant par leur découpage en énoncés, mots ou phonèmes jusqu’à la prise en compte de l’ambiance sonore et des modes de communication non verbaux, il n’existe pas de consensus académique sur les unités élémentaires pertinentes servant à la description de l’oral. D’où la prolifération de conventions qui, au sein des communautés, accompagnent ce travail de structuration « factice » des énoncés oraux et qui, jusqu’à présent, privilégient une lecture humaine de cette pluralité de point de vue.

Le défi selon Lou Burnard serait aujourd’hui de rendre ces modes de transcription compatibles avec des standards autorisant leur traitement informatique. Ce besoin de standardisation, soulignait   T. Schmidt[1], se fait de plus en plus sentir dans un contexte où l’émergence de grandes infrastructures numériques offre de nouveaux horizons pour regrouper et exploiter des corpus provenant de sources diverses.

La syntaxe XML TEI, issue du monde académique et à vocation pluridisciplinaire, met à disposition toute une gamme de propositions pour transcrire l’oral selon des schémas normalisés, à la fois lisibles par les humains et les machines. Elle permet en outre :

– De structurer les énoncés à travers un flux temporel <timeline> qui permet l’alignement avec la transcription et la synchronisation de séquences.

– De regrouper des énoncés sous la balise <div> et de les découper en segment de discours <s> attribué à un locuteur @who à un moment donné.

– D’introduire des métadonnées descriptives sur les locuteurs, les lieux, les organisations, le contexte ou d’anonymiser au contraire des personnes ou des entités nommées.

– D’opérer, au moyen de balises et d’attributs, une description très fine des différents phénomènes de communication oraux et non-oraux qui font partie du discours : pauses, chevauchements de paroles, changements d’intonation, de voix ou de langue, expressions vocalisées (tousser, rire, se moucher, grogner…), gestes, etc.

–  D’introduire des partis-pris scientifiques, des nuances, des lacunes, des doutes.

– D’utiliser des outils génériques et modulables, donc adaptables à des besoins spécifiques.

– De faire évoluer la théorie TEI en faisant des propositions qui ne perturbent pas les modèles « normalisés » préexistants.

Lou Burnard note en conclusion que les principaux obstacles à la normalisation des pratiques d’encodage – la fragmentation des communautés et l’immaturité théorique des standards – tendent désormais à s’estomper. La TEI présente certes encore des lacunes, mais elle a l’avantage de proposer une norme évolutive et non restrictive dont la richesse descriptive octroie aux chercheurs une grande liberté intellectuelle dans les choix d’encodage des données. Elle leur ouvre ainsi la possibilité de travailler de manière collaborative à l’enrichissement des balises répondant à des besoins ou des domaines de recherche spécialisés, à l’élaboration de schémas de structuration transversaux à l’étude de plusieurs corpus, et au développement des outils de traitement des corpus ainsi structurés.

Abigaël PESSES, TGE adonis

Crédits : images tirées du support de présentation de Lou Burnard.

Pour aller plus loin

Site officiel du consortium TEI et accès aux guides des bonnes pratiques

Accès à la liste de diffusion TEI

Références francophones :

Mutualisation des Expériences d’Encodage Textuel (MEET)

Une définition rapide de la TEI par Laurent Romary et Henri Hudrisier

Lot de billets sur les principes et fonctionnement de la TEI, les logiques XML vs RDF et la notion d’ontologie par Gautier Poupeau

Adresse de la liste de diffusion TEI française : tei-fr@cru.fr

 


[1] Thomas Schmidt, « A TEI-based Approach to Standardising Spoken Language Transcription », Journal of the Text Encoding Initiative [Online], Issue 1 | June 2011, Online since 08 June 2011, connection on 25 May 2012. URL : http://jtei.revues.org/142 ; DOI : 10.4000/jtei.142

John Coleman : « Mining a year of speech »

John Coleman est linguiste, Professeur au laboratoire de phonétique de l’Université d’Oxford (http://www.phon.ox.ac.uk/).  Il mène en collaboration avec d’autres équipes de recherche le projet « Mining a year of Speech » (http://www.phon.ox.ac.uk/mining).

Support de présentation : PDF

Podcast :   

Entretien avec John Coleman par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Caroline Cance :

visualisation (sonogramme) du signal sonore "mining a year of speech"

John Coleman nous a présenté le 5 avril dernier le projet collectif  « Mining a year of Speech » (exploiter un an de paroles), fruit d’une collaboration entre son équipe du Oxford University Phonetics Laboratory, la British Library, le Laboratoire de Phonétique et le Linguistic Data Consortium de l’Université de Pennsylvanie. Ce travail, financé par l’appel à projet international « Digging into data Challenge » s’est développé dans un contexte de véritable explosion des quantités de données collectées et analysées dans tous les domaines des sciences et des humanités.

Si la question de l’exploitation de bases de données colossales demeure relativement « simple » à résoudre pour les bases de données écrites, elle soulève plusieurs enjeux majeurs et spécifiques en ce qui concerne les collections de corpus audio / oraux.

– En effet, comment donner la possibilité à un utilisateur de retrouver dans un grand corpus audio les extraits sonores qui l’intéressent ?

– Comment annoter ces corpus pour faciliter la recherche et la consultation de tels corpus ?

– et enfin, comment rendre disponibles et consultables ces bases de données très volumineuses ?

Le projet Mining a year of Speech tente de répondre à ces différents enjeux. La base de données est constituée de plusieurs corpus de langue anglaise (Royaume Uni et Etats Unis) et comprend plusieurs milliers d’heure d’enregistrement de toute sorte : conversations quotidiennes spontanées, appels téléphoniques, livres audio, journaux radiophoniques et télévisées, discours et débats politiques, plaidoiries à la cour suprême … etc.  Si l’intérêt de telles bases de données de l’oral est évident pour les linguistes, il l’est aussi pour d’autres domaines des sciences humaines, à l’instar des juristes qui peuvent grâce à ces corpus outillés effectuer par exemple une analyse du nombre d’interruptions dans un jugement et de leur effet  sur ledit jugement. Localisés à différents endroits, les différents corpus qui constituent « a year of speech » sont organisées en nuage (cloud computing) et partagent le même schéma d’indexation et les mêmes outils de recherche. Il s’agit ainsi davantage d’un corpus collaboratif que d’une collection de corpus, mis à disposition grâce à une fédération de fournisseurs d’accès. Ceci permet d’envisager l’ajout d’autres corpus mais également un travail collaboratif  (crowd-sourcing[1]) au niveau des transcriptions, puisque l’interface permet aux utilisateurs d’ajouter leurs propres annotations, de proposer une transcription alternative …

illustration du BNC oralLe British National Corpus

La base de données de Mining a year of Speech comprend pour l’anglais britannique toute la partie orale transcrite du British National Corpus (10% du BNC). Collecté dans les années 1990 (1990-1994), le BNC avait pour principal objectif de donner un aperçu (documenter) de l’anglais britannique de la fin du 20ème siècle[2]. Il s’agissait de construire un très grand corpus écrit et oral, synchronique, annoté (classes de mots et information contextuelle), pour améliorer à terme les dictionnaires de langue.

Le BNC oral comprend entre 2 à 3 mois d’enregistrements (1400 heures) ce qui le place toujours en tête des initiatives du genre dans le domaine des corpus oraux transcrits.

A titre indicatif, le corpus Year of Speech dans son ensemble représente quant à lui 1 TB de données ; et si on le compare avec les grandes bases de données manipulées dans le domaine des sciences et technologies, on s’aperçoit que ce type de corpus en sciences humaines se situe dans un ordre de grandeur similaire (0,5TB/an pour le télescope Hubble et 16TB pour le Sloane digital sky survey et 13PB pour l’accélérateur de particules du CERN).

La constitution d’un tel corpus à l’aube du 21ème siècle (et son exploitation actuelle) a nécessité la levée de plusieurs verrous technologiques et méthodologiques :

Collecte : pour garantir une certaine représentativité du corpus, un échantillonnage démographique a été réalisé. 124 volontaires hommes et femmes appartenant à différentes classes d’âge, socioprofessionnelles et localisations géographiques se sont vus fournir des enregistreurs analogiques (type walkman). La consigne étant d’enregistrer leurs conversations pendant 2 à 3 jours. Afin de contrebalancer cette collecte de conversations spontanées un échantillonnage contextuel a également été mis en place permettant de recueillir des enregistrements dans différents types de contextes (éducatifs et informationnels, professionnels, institutionnels et loisirs).

Transcription : Tous ces enregistrements ont été transcrits orthographiquement par des dactylographes et les transcriptions comportent également des annotations faisant état de l’organisation des tours de parole et des chevauchements entre locuteurs, des mots tels que perçus par le transcripteur/trice, des hésitations, mots tronqués, faux départs, des pauses, de l’intonation … ainsi que des informations sur les locuteurs et le contexte d’enregistrement quand disponible.

Stockage des données : un des soucis majeurs rencontrés au moment de la constitution du BNC. Ainsi pendant de nombreuses années le corpus audio a sommeillé au National Sound Archive sous forme de cassettes, celles-ci ne pouvaient être publiées car non anonymisées, à la différence des transcriptions qui ont pu être publiées. Depuis quelques années les possibilités de numérisation et de stockage pérenne se sont développées. Ainsi en 2009-2010 la numérisation de l’ensemble des cassettes audio a pu être réalisée en collaboration avec la British Library.

Les enjeux se situent à présent au niveau du temps nécessaire i) pour aligner un an de d’enregistrement de discours oral avec sa transcription (3 mois environ), ii) pour déplacer, copier et/ou télécharger de tels corpus (des jours voire des semaines …). Enfin et surtout, le levier majeur réside dans la constitution et l’utilisation d’un index détaillé permettant la navigation dans un corpus d’une telle ampleur et l’accès à des petits extraits du corpus.

La construction de cet index passe nécessairement par un alignement entre le fichier audio et sa transcription écrite. L’équipe de Mining a year of Speech utilise un outil de reconnaissance automatique (Penn Phonetics Laboratory Forced Aligner) qui permet l’alignement automatique dans un premier temps au niveau des mots puis dans un second temps au niveau des segments.

L’aligneur élaboré pour l’anglais américain, est construit sur un modèle acoustique, ce qui permet son utilisation pour aligner des corpus britanniques, les différences de prononciation entre les variétés d’anglais étant prises en compte grâce à la construction d’un dictionnaire multi-dialectes. Bien évidemment, l’alignement forcé entre l’enregistrement sonore et sa transcription phonétique est loin d’être parfait (~23% d’alignement correct et ~80% d’alignement compris entre 2 sec) et ce du notamment aux chevauchements, les bruits de fond, l’hétérogénéité de la qualité du signal sonore, etc. Néanmoins il permet de se repérer dans le corpus.

Une fois l’alignement réalisé, il est possible d’anonymiser les fichiers audio en utiliser les balises d’anonymisation présentes dans les transcriptions (<gap> tags) déjà anonymisées. Dès que l’ensemble du corpus aura été anonymisé,  le BNC oral sera disponible en ligne (voir à titre d’exemple : http://www.phon.ox.ac.uk/SpokenBNC)

Exemples d’application linguistiques

Les applications pour lesquelles ce corpus outillé peut être utilisé sont multiples. Ainsi au niveau phonologique il est par exemple possible d’étudier des phénomènes de variation telles que la variation du –t/-d final en anglais puisqu’on peut disposer d’un grand nombre de réalisations et observer la distribution des durées et des fréquences en fonction de facteurs linguistiques et sociolinguistiques. On peut égaler étudier les phénomènes d’assimilation consonantique et repérer des phénomènes auparavant impossibles ou non attestés grâce à la possibilité d’accéder à un corpus de grande taille comprenant de nombreux types de discours (dont des conversations naturelles).

Caroline CANCE, LLL

Crédits : images tirées du support de présentation de John Coleman.

Pour aller plus loin

Projet Mining a year of Speech

Mining a year of Speech White Paper

Laboratoire de phonétique de l’Université d’Oxford

Laboratoire de phonétique de l’Université de Pennsylvanie

Linguistic Data Consortium

The Penn Phonetics Lab Forced Aligner


[1] Voir dans d’autres domaines les initiatives développées sur le portail de Zooniverse

[2] Ce projet a été commandité par un consortium regroupant des éditeurs de dictionnaires, le gouvernement britannique, le Science and Engineering Research Council et la communauté de chercheurs en linguistique.

Michel Jacobson : « L’archivage des données numériques : retours d’expérience sur des données orales »

Séance du Jeudi 10 novembre 2011

Michel Jacobson est chef de projet sur l’archivage électronique au Service Interministériel des Archives de France (SIAF)

Support de présentation de Michel Jacobson : PDF

Entretien avec Michel Jacobson par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Abigaël Pesses :

Le 10 novembre dernier, les équipes du TGE Adonis et du LLL (laboratoire Ligérien de Linguistique) de l’université d’Orléans ont eu le plaisir de recevoir Michel Jacobson à Orléans pour inaugurer la première séance du séminaire portant sur l’objet numérique sonore.  Michel Jacobson a ainsi pu nous faire partager le fruit de son expérience et de son parcours à travers cet objet qui, depuis le LACITO, un laboratoire de recherche du CNRS spécialisé sur l’étude des langues à tradition orale, au Centre de Ressources pour la Description de l’Oral (CRDO), l’ont conduit à devenir chef de projet au Service Interministériel des Archives de France (SIAF). Ce service rattaché au Ministère de la Culture a pour mission de définir la politique en matière d’archivage et de piloter le réseau des archives (communales, départementales, régionales,  nationales).

Michel Jacobson, partant des caractéristiques physiques du son et de leur transposition en unités informatiques binaires (bit : 0 et 1), a soulevé les différents enjeux relatifs à l’archivage de l’information numérique. Le passage de l’analogique au numérique présente en effet de nombreux avantages : copie à l’identique et à l’infini, facilité de stockage, de transmission et de traitement de l’information numérique. L’information n’en reste pas moins opaque, car codée, et suppose un dispositif particulier pour être lue, représentée, déchiffrée. Ce dispositif est composé d’une superposition complexe de strates qui interagissent entre elles : une couche matérielle – les supports (disques durs, DVD, mémoire flash),  elle -même  interprétée par une couche logicielle (système d’exploitation, pilotes, navigateurs, applications) et auxquelles se surajoute une couche de formats.

Ces formats  servent  à représenter des données numériques – sons, images ou textes – sous la forme d’un code compréhensible par des machines. L’information numérique codée dépend ainsi d’un empilement de technologies dont les évolutions constantes et rapidement obsolètes sont largement tributaires du marché. D’où la nécessité de mettre en place des procédures pour assurer la migration physique des documents afin de pouvoir les déchiffrer avec les technologies de son temps.

La nouveauté de l’archivage, souligne Michel Jacobson, c’est de conserver ces métadonnées de représentation, à savoir les formats, mais également leurs supports de lecture et la documentation qui spécifient les différentes méthodes d’encodage du contenu. Dans ce nouveau paradigme, il faut cependant ne pas perdre de vue que ce que l’on cherche à conserver, ce n’est pas tant la donnée numérique dans son format ou son support originel que son contenu informationnel. Et pour demeurer intelligible, une information numérique doit pouvoir être décodée.

Michel Jacobson est l’un des contributeurs au  guide des bonnes pratiques numériques disponible sur le site du TGE et dont l’objectif est d’aider les producteurs de données numériques à faire les bons choix dans l’usage des logiciels, des formats et des modes d’encodage des données.

Crédits : images tirées du support de présentation de Michel Jacobson

Approfondir :

Exemples de gestion de corpus oraux dans le réseau des Archives départementales :

Banque de l’Information Radiophonique des Deux Sèvres

Sauvegarde de la parole sarthoise

Collecte des témoignages oraux sur la Seconde Guerre Mondiale (Val de Marne)