Sylvain Kahane « Un treebank multicouche : annotation macrosyntaxique, microsyntaxique et prosodique du français parlé »

Sylvain Kahane est Professeur en Sciences du Langage à l’Université Paris Ouest – Nanterre et membre du laboratoire Modyco (CNRS UMR 7114).

Support de présentation de Sylvain Kahane : PDF

Podcast :

Résumé de l’intervention :

Nous présenterons les différentes couches d’annotation du treebank Rhapsodie, un corpus de français parlé richement annoté. Le corpus contient plusieurs niveaux de segmentation indépendants : en unités illocutoires pour la macrosyntaxe, en unités rectionnelles pour la microsyntaxe, en périodes, paquets intonatifs et groupes accentuels pour la prosodie. Les unités rectionnelles sont analysées en dépendance, avec un traitement fin des phénomènes d’entassements (coordination, reformulation, négociation). Nous regarderons tout particulièrement les cas de non-concordance entre les différents niveaux de segmentation.

treebank_rhapsodieApprofondir :

Explorer le treebank Rhapsodie : http://projet-rhapsodie.fr/

Carole Etienne : “Clapi : les évolutions d’une banque de données orales outillée”

Carole Etienne est ingénieur de recherche au laboratoire ICAR (UMR 5191 – CNRS / Université Lyon 2 / ENS Lyon / IFÉ)

Support de présentation de Carole Etienne : PDF

Podcast :

Interview de Carole Etienne par Gabriel Bergounioux : partie 1, partie 2

Résumé de l’intervention :

Les études des interactions sociales développées au laboratoire ICAR portent sur des situations quotidiennes d’échange dans différents contextes (milieu professionnel, milieu médical, institutions, commerces, situations de classe, cadre privé, …). Il s’agit de données écologiques collectées dans leur naturalité, enregistrées ou filmées dans le lieu où elles se produisent et non provoquées par le chercheur en vue de sa recherche. Ces enregistrements ont été organisés et enrichiclapi_1s pour devenir des corpus multimodaux accessibles en ligne dans la plateforme CLAPI (Corpus de LAngue Parlée en Interaction, http://clapi.univ-lyon2.fr) où un ensemble d’outils de requêtes basés sur leurs transcriptions permet d’étudier leur contenu, de dégager des récurrences et d’aider le chercheur à identifier les objets d’analyse.

La nouvelle version de CLAPI, mise en ligne en Novembre 2012, propose une nouvelle interface plus ergonomique pour explorer ces données complexes (plus de 70 descripteurs) et leurs outils de requêtes (jusqu’à 30 critères). Au-delà de l’ergonomie, l’enjeu de cette évolution est d’intégrer les nouvelles données multimodales et les contraintes juridiques auxquelles ces données audiovisuelles sont soumises tout en répondant aux besoins des nouveaux projets. clapi-2

La mise à disposition et la diffusion d’une telle plateforme pose le problème crucial de son enrichissement et de la gestion de ses évolutions qu’il s’agisse d’intégrer des corpus recueillis avec de nouvelles exigences techniques ou de développer de nouveaux outils de requêtes utilisés dans différents projets de recherche par différentes communautés scientifiques.

Crédits : images tirées du support de présentation de Carole Etienne

Approfondir :

Explorer la plateforme CLAPI : http://clapi.univ-lyon2.fr

En savoir plus sur les corpus de langue parlée en interaction : site CORINTE

Lou Burnard : “Encoder l’oral en TEI : démarches, avantages, défis….”

Lou Burnard, a travaillé au sein de l’Oxford University Computing Services (OUCS) de 1975 à 2010. Très impliqué dans les « digital humanities » depuis les années 1990, il est notamment l’un des pères fondateurs du Text Encoding Initiative (TEI), du Arts and Humanities Data Service , et du British National Corpus. Il a rejoint le TGE Adonis en 2009, où il travaille à mi-temps.

Support de présentation : PDF

podcast :

Entretien avec Lou Burnard par Gabriel Bergounioux : partie 1, partie 2

Pour clore le séminaire annuel, Lou Burnard est venu nous présenter à la BnF les propositions de la TEI pour l’encodage des documents sonores et oraux. Un enjeu qu’il resitue dans la série complexe d’opérations techniques et conceptuelles relatives au traitement des sources orales par les chercheurs. Ce processus inclut :

–   Des techniques d’enregistrement de signaux sonores.

–  La nécessaire contextualisation de ces sources en vue de leur exploitation selon des angles d’approches multiples : historique, linguistique, anthropologique, etc.

–   Et enfin, l’important travail de transcription qui permet de décrire et de structurer l’oral sous une forme textuelle.

Ce travail de transcription à partir duquel l’encodage de l’oral devient possible dépend d’un processus de réécriture des énoncés oraux qui, comme le souligne Lou Burnard, suppose des choix et s’apparente déjà à un acte d’interprétation.

L’oral constitue en effet un objet particulièrement hétérogène qui renvoie à des styles de communication plus ou moins structurés : entretiens informels, fragments de conversation capturés avec des micros cachés, interviews, débats, interactions transactionnelles (achat), etc. Que va-t-on décider de représenter avant tout? Le contenu du message (analyse socio-historique) ou bien la manière dont il est exprimé (analyse linguistique) ? Sur quelle méthode de transcription orthographique va-t-on s’appuyer pour justifier la démarche de recherche ? Et jusqu’à quel degré de détail engager la description ?

Des figures de style qui structurent la conversation, en passant par leur découpage en énoncés, mots ou phonèmes jusqu’à la prise en compte de l’ambiance sonore et des modes de communication non verbaux, il n’existe pas de consensus académique sur les unités élémentaires pertinentes servant à la description de l’oral. D’où la prolifération de conventions qui, au sein des communautés, accompagnent ce travail de structuration « factice » des énoncés oraux et qui, jusqu’à présent, privilégient une lecture humaine de cette pluralité de point de vue.

Le défi selon Lou Burnard serait aujourd’hui de rendre ces modes de transcription compatibles avec des standards autorisant leur traitement informatique. Ce besoin de standardisation, soulignait   T. Schmidt[1], se fait de plus en plus sentir dans un contexte où l’émergence de grandes infrastructures numériques offre de nouveaux horizons pour regrouper et exploiter des corpus provenant de sources diverses.

La syntaxe XML TEI, issue du monde académique et à vocation pluridisciplinaire, met à disposition toute une gamme de propositions pour transcrire l’oral selon des schémas normalisés, à la fois lisibles par les humains et les machines. Elle permet en outre :

– De structurer les énoncés à travers un flux temporel <timeline> qui permet l’alignement avec la transcription et la synchronisation de séquences.

– De regrouper des énoncés sous la balise <div> et de les découper en segment de discours <s> attribué à un locuteur @who à un moment donné.

– D’introduire des métadonnées descriptives sur les locuteurs, les lieux, les organisations, le contexte ou d’anonymiser au contraire des personnes ou des entités nommées.

– D’opérer, au moyen de balises et d’attributs, une description très fine des différents phénomènes de communication oraux et non-oraux qui font partie du discours : pauses, chevauchements de paroles, changements d’intonation, de voix ou de langue, expressions vocalisées (tousser, rire, se moucher, grogner…), gestes, etc.

–  D’introduire des partis-pris scientifiques, des nuances, des lacunes, des doutes.

– D’utiliser des outils génériques et modulables, donc adaptables à des besoins spécifiques.

– De faire évoluer la théorie TEI en faisant des propositions qui ne perturbent pas les modèles « normalisés » préexistants.

Lou Burnard note en conclusion que les principaux obstacles à la normalisation des pratiques d’encodage – la fragmentation des communautés et l’immaturité théorique des standards – tendent désormais à s’estomper. La TEI présente certes encore des lacunes, mais elle a l’avantage de proposer une norme évolutive et non restrictive dont la richesse descriptive octroie aux chercheurs une grande liberté intellectuelle dans les choix d’encodage des données. Elle leur ouvre ainsi la possibilité de travailler de manière collaborative à l’enrichissement des balises répondant à des besoins ou des domaines de recherche spécialisés, à l’élaboration de schémas de structuration transversaux à l’étude de plusieurs corpus, et au développement des outils de traitement des corpus ainsi structurés.

Abigaël PESSES, TGE adonis

Crédits : images tirées du support de présentation de Lou Burnard.

Pour aller plus loin

Site officiel du consortium TEI et accès aux guides des bonnes pratiques

Accès à la liste de diffusion TEI

Références francophones :

Mutualisation des Expériences d’Encodage Textuel (MEET)

Une définition rapide de la TEI par Laurent Romary et Henri Hudrisier

Lot de billets sur les principes et fonctionnement de la TEI, les logiques XML vs RDF et la notion d’ontologie par Gautier Poupeau

Adresse de la liste de diffusion TEI française : tei-fr@cru.fr

 


[1] Thomas Schmidt, « A TEI-based Approach to Standardising Spoken Language Transcription », Journal of the Text Encoding Initiative [Online], Issue 1 | June 2011, Online since 08 June 2011, connection on 25 May 2012. URL : http://jtei.revues.org/142 ; DOI : 10.4000/jtei.142

John Coleman : « Mining a year of speech »

John Coleman est linguiste, Professeur au laboratoire de phonétique de l’Université d’Oxford (http://www.phon.ox.ac.uk/).  Il mène en collaboration avec d’autres équipes de recherche le projet « Mining a year of Speech » (http://www.phon.ox.ac.uk/mining).

Support de présentation : PDF

Podcast :   

Entretien avec John Coleman par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Caroline Cance :

visualisation (sonogramme) du signal sonore "mining a year of speech"

John Coleman nous a présenté le 5 avril dernier le projet collectif  « Mining a year of Speech » (exploiter un an de paroles), fruit d’une collaboration entre son équipe du Oxford University Phonetics Laboratory, la British Library, le Laboratoire de Phonétique et le Linguistic Data Consortium de l’Université de Pennsylvanie. Ce travail, financé par l’appel à projet international « Digging into data Challenge » s’est développé dans un contexte de véritable explosion des quantités de données collectées et analysées dans tous les domaines des sciences et des humanités.

Si la question de l’exploitation de bases de données colossales demeure relativement « simple » à résoudre pour les bases de données écrites, elle soulève plusieurs enjeux majeurs et spécifiques en ce qui concerne les collections de corpus audio / oraux.

– En effet, comment donner la possibilité à un utilisateur de retrouver dans un grand corpus audio les extraits sonores qui l’intéressent ?

– Comment annoter ces corpus pour faciliter la recherche et la consultation de tels corpus ?

– et enfin, comment rendre disponibles et consultables ces bases de données très volumineuses ?

Le projet Mining a year of Speech tente de répondre à ces différents enjeux. La base de données est constituée de plusieurs corpus de langue anglaise (Royaume Uni et Etats Unis) et comprend plusieurs milliers d’heure d’enregistrement de toute sorte : conversations quotidiennes spontanées, appels téléphoniques, livres audio, journaux radiophoniques et télévisées, discours et débats politiques, plaidoiries à la cour suprême … etc.  Si l’intérêt de telles bases de données de l’oral est évident pour les linguistes, il l’est aussi pour d’autres domaines des sciences humaines, à l’instar des juristes qui peuvent grâce à ces corpus outillés effectuer par exemple une analyse du nombre d’interruptions dans un jugement et de leur effet  sur ledit jugement. Localisés à différents endroits, les différents corpus qui constituent « a year of speech » sont organisées en nuage (cloud computing) et partagent le même schéma d’indexation et les mêmes outils de recherche. Il s’agit ainsi davantage d’un corpus collaboratif que d’une collection de corpus, mis à disposition grâce à une fédération de fournisseurs d’accès. Ceci permet d’envisager l’ajout d’autres corpus mais également un travail collaboratif  (crowd-sourcing[1]) au niveau des transcriptions, puisque l’interface permet aux utilisateurs d’ajouter leurs propres annotations, de proposer une transcription alternative …

illustration du BNC oralLe British National Corpus

La base de données de Mining a year of Speech comprend pour l’anglais britannique toute la partie orale transcrite du British National Corpus (10% du BNC). Collecté dans les années 1990 (1990-1994), le BNC avait pour principal objectif de donner un aperçu (documenter) de l’anglais britannique de la fin du 20ème siècle[2]. Il s’agissait de construire un très grand corpus écrit et oral, synchronique, annoté (classes de mots et information contextuelle), pour améliorer à terme les dictionnaires de langue.

Le BNC oral comprend entre 2 à 3 mois d’enregistrements (1400 heures) ce qui le place toujours en tête des initiatives du genre dans le domaine des corpus oraux transcrits.

A titre indicatif, le corpus Year of Speech dans son ensemble représente quant à lui 1 TB de données ; et si on le compare avec les grandes bases de données manipulées dans le domaine des sciences et technologies, on s’aperçoit que ce type de corpus en sciences humaines se situe dans un ordre de grandeur similaire (0,5TB/an pour le télescope Hubble et 16TB pour le Sloane digital sky survey et 13PB pour l’accélérateur de particules du CERN).

La constitution d’un tel corpus à l’aube du 21ème siècle (et son exploitation actuelle) a nécessité la levée de plusieurs verrous technologiques et méthodologiques :

Collecte : pour garantir une certaine représentativité du corpus, un échantillonnage démographique a été réalisé. 124 volontaires hommes et femmes appartenant à différentes classes d’âge, socioprofessionnelles et localisations géographiques se sont vus fournir des enregistreurs analogiques (type walkman). La consigne étant d’enregistrer leurs conversations pendant 2 à 3 jours. Afin de contrebalancer cette collecte de conversations spontanées un échantillonnage contextuel a également été mis en place permettant de recueillir des enregistrements dans différents types de contextes (éducatifs et informationnels, professionnels, institutionnels et loisirs).

Transcription : Tous ces enregistrements ont été transcrits orthographiquement par des dactylographes et les transcriptions comportent également des annotations faisant état de l’organisation des tours de parole et des chevauchements entre locuteurs, des mots tels que perçus par le transcripteur/trice, des hésitations, mots tronqués, faux départs, des pauses, de l’intonation … ainsi que des informations sur les locuteurs et le contexte d’enregistrement quand disponible.

Stockage des données : un des soucis majeurs rencontrés au moment de la constitution du BNC. Ainsi pendant de nombreuses années le corpus audio a sommeillé au National Sound Archive sous forme de cassettes, celles-ci ne pouvaient être publiées car non anonymisées, à la différence des transcriptions qui ont pu être publiées. Depuis quelques années les possibilités de numérisation et de stockage pérenne se sont développées. Ainsi en 2009-2010 la numérisation de l’ensemble des cassettes audio a pu être réalisée en collaboration avec la British Library.

Les enjeux se situent à présent au niveau du temps nécessaire i) pour aligner un an de d’enregistrement de discours oral avec sa transcription (3 mois environ), ii) pour déplacer, copier et/ou télécharger de tels corpus (des jours voire des semaines …). Enfin et surtout, le levier majeur réside dans la constitution et l’utilisation d’un index détaillé permettant la navigation dans un corpus d’une telle ampleur et l’accès à des petits extraits du corpus.

La construction de cet index passe nécessairement par un alignement entre le fichier audio et sa transcription écrite. L’équipe de Mining a year of Speech utilise un outil de reconnaissance automatique (Penn Phonetics Laboratory Forced Aligner) qui permet l’alignement automatique dans un premier temps au niveau des mots puis dans un second temps au niveau des segments.

L’aligneur élaboré pour l’anglais américain, est construit sur un modèle acoustique, ce qui permet son utilisation pour aligner des corpus britanniques, les différences de prononciation entre les variétés d’anglais étant prises en compte grâce à la construction d’un dictionnaire multi-dialectes. Bien évidemment, l’alignement forcé entre l’enregistrement sonore et sa transcription phonétique est loin d’être parfait (~23% d’alignement correct et ~80% d’alignement compris entre 2 sec) et ce du notamment aux chevauchements, les bruits de fond, l’hétérogénéité de la qualité du signal sonore, etc. Néanmoins il permet de se repérer dans le corpus.

Une fois l’alignement réalisé, il est possible d’anonymiser les fichiers audio en utiliser les balises d’anonymisation présentes dans les transcriptions (<gap> tags) déjà anonymisées. Dès que l’ensemble du corpus aura été anonymisé,  le BNC oral sera disponible en ligne (voir à titre d’exemple : http://www.phon.ox.ac.uk/SpokenBNC)

Exemples d’application linguistiques

Les applications pour lesquelles ce corpus outillé peut être utilisé sont multiples. Ainsi au niveau phonologique il est par exemple possible d’étudier des phénomènes de variation telles que la variation du –t/-d final en anglais puisqu’on peut disposer d’un grand nombre de réalisations et observer la distribution des durées et des fréquences en fonction de facteurs linguistiques et sociolinguistiques. On peut égaler étudier les phénomènes d’assimilation consonantique et repérer des phénomènes auparavant impossibles ou non attestés grâce à la possibilité d’accéder à un corpus de grande taille comprenant de nombreux types de discours (dont des conversations naturelles).

Caroline CANCE, LLL

Crédits : images tirées du support de présentation de John Coleman.

Pour aller plus loin

Projet Mining a year of Speech

Mining a year of Speech White Paper

Laboratoire de phonétique de l’Université d’Oxford

Laboratoire de phonétique de l’Université de Pennsylvanie

Linguistic Data Consortium

The Penn Phonetics Lab Forced Aligner


[1] Voir dans d’autres domaines les initiatives développées sur le portail de Zooniverse

[2] Ce projet a été commandité par un consortium regroupant des éditeurs de dictionnaires, le gouvernement britannique, le Science and Engineering Research Council et la communauté de chercheurs en linguistique.

Joséphine Simonnot : « Présentation de TELEMETA, un outil de traitement des archives sonores de la recherche. »

Séance du Jeudi 12 janvier 2012

Joséphine Simonnot est ingénieur de recherche au Centre de Recherche en Ethnomusicologie (CREM) du LESC (UMR7186)

Support de présentation de Joséphine Simonnot : PDF

Podcast :

Entretien avec Joséphine Simonnot par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Abigaël Pesses :

Joséphine Simonnot,  ingénieur de recherche au Centre de Recherche en Ethnomusicologie (CREM), nous a présenté les fonctionnalités de la plateforme TELEMETA et le patient parcours de travail préalable à sa mise en production. Cette aventure, tant humaine que technique, remonte 12 ans en arrière lorsque Joséphine Simonnot se voit confier la responsabilité de valoriser un véritable trésor : le fonds d’archives sonores du Musée de l’Homme qui regroupe plus de 5000 collections de musique du monde et de documents sonores, notamment collectés au cours des premières grandes missions scientifiques telles que Dakar-Djibouti (1932) ou Ogooué-Congo (1946). Mais voilà, ce trésor repose sur des supports d’enregistrement variés, en majorité constitué de bandes magnétiques menacées par la décomposition chimique et l’oubli.

Comment donc assurer la conservation de ce patrimoine culturel immatériel ? Comment le rendre accessible à la communauté scientifique, ainsi qu’aux populations d’origine qui le réclament ?

De là, débute un vaste chantier de numérisation qui se couple rapidement avec la nécessité de créer un outil informatique, basé sur des technologies libres, capable de faciliter le méticuleux travail d’indexation des fichiers sonores entrepris en collaboration avec les chercheurs et les populations locales. Pour concevoir ce projet, Joséphine Simonnot va solliciter les compétences de différents experts : Guillaume Pellerin, un développeur orienté recherche, formé au Laboratoire d’Acoustique Musicale (LAM-CNRS/UPMC), Pascal Cordereix (BnF) et Véronique Ginouvès (phonothèque d’Aix-en-Provence), spécialistes des bonnes pratiques de catalogage et d’archivage de documents numériques sonores. Jean-Marc Fontaine et Hugues Genevois, du LAM, ont également joué un rôle important pour les choix techniques et ergonomiques. Cette synergie d’acteurs va aboutir à la réalisation d’une plateforme collaborative de travail, Telemeta, qui utilise des technologies tant ouvertes qu’innovantes pour permettre la description, la consultation et la diffusion en ligne de contenus sonores. Cela dans le respect des normes d’interopérabilité des données et en prévision de leur archivage pérenne.

Le projet porte aujourd’hui ses fruits. Rapidement après sa mise en ligne en juin 2011, les ethnomusicologues du CREM s’approprient aisément cette technologie qui transforme leurs pratiques de travail (actuellement 7130 enregistrements en ligne et 3000 fiches supplémentaires en 6 mois). En effet, il y a encore peu de temps, ces derniers ne pouvaient s’aider que de leurs oreilles et d’un chronomètre pour se repérer dans un enregistrement sonore.

Désormais, Telemeta leur propose un espace de travail dans lequel ils peuvent parcourir et visualiser le son en trois dimensions – temps, fréquence, intensité – avec la possibilité d’introduire des marqueurs temporels pour annoter un continuum sonore. L’application leur permet par ailleurs de compléter eux-mêmes les fiches documentaires, d’y joindre une image et de faire une recherche textuelle ou par zone géographique.

Cette palette d’outils contribue par là-même à affiner l’analyse de ces matériaux et à les enrichir de métadonnées sans lesquelles ces archives demeureraient inexploitables. Les chercheurs peuvent ainsi écouter et faire entendre à tout moment et presque en tout lieu leurs enregistrements. Cet accès facilité au fonds participe à son actuelle renaissance et rajoute du sens à leur ouvrage, tout en améliorant la visibilité de leurs travaux. Selon les mots de Dana Rappoport, ethnomusicologue au CNRS : « c’est une véritable révolution ». Ne serait-ce que par le retour, enfin possible, de ces enregistrements aux populations d’origine, légitimement concernées, ou la transmission qui s’opère entre les générations de chercheurs. En effet, grâce à cet outil et à internet, ces données sonores sont « libérées » de la contrainte des anciens supports analogiques, soumis à l’obsolescence des machines et à une inévitable détérioration.

A la demande du TGE ADONIS, qui soutient le développement de cette application depuis 2010, Joséphine Simonnot travaille actuellement à la production d’une version plus générique de Telemeta. Elle s’inscrit pour cela au sein d’un réseau de laboratoires et d’institutions partenaires en vue d’adapter ce système de dépôt d’archives à d’autres types de corpus ou à d’autres usages disciplinaires : gestion des formats vidéo, des métadonnées métiers et des modes de synchronisation son-texte-image. Cette séance de séminaire a notamment été l’occasion de dialoguer avec des linguistes pour identifier leurs pratiques et besoins spécifiques en la matière.

Crédits : images tirées du support de présentation de Joséphine Simonnot.

Approfondir :

Naviguer dans les collections des archives sonores de CREM:
http://archives.crem-cnrs.fr/

Tester la plateforme TELEMETA en tant qu’administrateur:
http://demo.telemeta.org/
login : demo
mot de passe : demo

Télécharger le CMS audio et obtenir les détails techniques relatifs à son utilisation, sur le wiki du projet : http://telemeta.org