John Coleman : « Mining a year of speech »

John Coleman est linguiste, Professeur au laboratoire de phonétique de l’Université d’Oxford (http://www.phon.ox.ac.uk/).  Il mène en collaboration avec d’autres équipes de recherche le projet « Mining a year of Speech » (http://www.phon.ox.ac.uk/mining).

Support de présentation : PDF

Podcast :   

Entretien avec John Coleman par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Caroline Cance :

visualisation (sonogramme) du signal sonore "mining a year of speech"

John Coleman nous a présenté le 5 avril dernier le projet collectif  « Mining a year of Speech » (exploiter un an de paroles), fruit d’une collaboration entre son équipe du Oxford University Phonetics Laboratory, la British Library, le Laboratoire de Phonétique et le Linguistic Data Consortium de l’Université de Pennsylvanie. Ce travail, financé par l’appel à projet international « Digging into data Challenge » s’est développé dans un contexte de véritable explosion des quantités de données collectées et analysées dans tous les domaines des sciences et des humanités.

Si la question de l’exploitation de bases de données colossales demeure relativement « simple » à résoudre pour les bases de données écrites, elle soulève plusieurs enjeux majeurs et spécifiques en ce qui concerne les collections de corpus audio / oraux.

– En effet, comment donner la possibilité à un utilisateur de retrouver dans un grand corpus audio les extraits sonores qui l’intéressent ?

– Comment annoter ces corpus pour faciliter la recherche et la consultation de tels corpus ?

– et enfin, comment rendre disponibles et consultables ces bases de données très volumineuses ?

Le projet Mining a year of Speech tente de répondre à ces différents enjeux. La base de données est constituée de plusieurs corpus de langue anglaise (Royaume Uni et Etats Unis) et comprend plusieurs milliers d’heure d’enregistrement de toute sorte : conversations quotidiennes spontanées, appels téléphoniques, livres audio, journaux radiophoniques et télévisées, discours et débats politiques, plaidoiries à la cour suprême … etc.  Si l’intérêt de telles bases de données de l’oral est évident pour les linguistes, il l’est aussi pour d’autres domaines des sciences humaines, à l’instar des juristes qui peuvent grâce à ces corpus outillés effectuer par exemple une analyse du nombre d’interruptions dans un jugement et de leur effet  sur ledit jugement. Localisés à différents endroits, les différents corpus qui constituent « a year of speech » sont organisées en nuage (cloud computing) et partagent le même schéma d’indexation et les mêmes outils de recherche. Il s’agit ainsi davantage d’un corpus collaboratif que d’une collection de corpus, mis à disposition grâce à une fédération de fournisseurs d’accès. Ceci permet d’envisager l’ajout d’autres corpus mais également un travail collaboratif  (crowd-sourcing[1]) au niveau des transcriptions, puisque l’interface permet aux utilisateurs d’ajouter leurs propres annotations, de proposer une transcription alternative …

illustration du BNC oralLe British National Corpus

La base de données de Mining a year of Speech comprend pour l’anglais britannique toute la partie orale transcrite du British National Corpus (10% du BNC). Collecté dans les années 1990 (1990-1994), le BNC avait pour principal objectif de donner un aperçu (documenter) de l’anglais britannique de la fin du 20ème siècle[2]. Il s’agissait de construire un très grand corpus écrit et oral, synchronique, annoté (classes de mots et information contextuelle), pour améliorer à terme les dictionnaires de langue.

Le BNC oral comprend entre 2 à 3 mois d’enregistrements (1400 heures) ce qui le place toujours en tête des initiatives du genre dans le domaine des corpus oraux transcrits.

A titre indicatif, le corpus Year of Speech dans son ensemble représente quant à lui 1 TB de données ; et si on le compare avec les grandes bases de données manipulées dans le domaine des sciences et technologies, on s’aperçoit que ce type de corpus en sciences humaines se situe dans un ordre de grandeur similaire (0,5TB/an pour le télescope Hubble et 16TB pour le Sloane digital sky survey et 13PB pour l’accélérateur de particules du CERN).

La constitution d’un tel corpus à l’aube du 21ème siècle (et son exploitation actuelle) a nécessité la levée de plusieurs verrous technologiques et méthodologiques :

Collecte : pour garantir une certaine représentativité du corpus, un échantillonnage démographique a été réalisé. 124 volontaires hommes et femmes appartenant à différentes classes d’âge, socioprofessionnelles et localisations géographiques se sont vus fournir des enregistreurs analogiques (type walkman). La consigne étant d’enregistrer leurs conversations pendant 2 à 3 jours. Afin de contrebalancer cette collecte de conversations spontanées un échantillonnage contextuel a également été mis en place permettant de recueillir des enregistrements dans différents types de contextes (éducatifs et informationnels, professionnels, institutionnels et loisirs).

Transcription : Tous ces enregistrements ont été transcrits orthographiquement par des dactylographes et les transcriptions comportent également des annotations faisant état de l’organisation des tours de parole et des chevauchements entre locuteurs, des mots tels que perçus par le transcripteur/trice, des hésitations, mots tronqués, faux départs, des pauses, de l’intonation … ainsi que des informations sur les locuteurs et le contexte d’enregistrement quand disponible.

Stockage des données : un des soucis majeurs rencontrés au moment de la constitution du BNC. Ainsi pendant de nombreuses années le corpus audio a sommeillé au National Sound Archive sous forme de cassettes, celles-ci ne pouvaient être publiées car non anonymisées, à la différence des transcriptions qui ont pu être publiées. Depuis quelques années les possibilités de numérisation et de stockage pérenne se sont développées. Ainsi en 2009-2010 la numérisation de l’ensemble des cassettes audio a pu être réalisée en collaboration avec la British Library.

Les enjeux se situent à présent au niveau du temps nécessaire i) pour aligner un an de d’enregistrement de discours oral avec sa transcription (3 mois environ), ii) pour déplacer, copier et/ou télécharger de tels corpus (des jours voire des semaines …). Enfin et surtout, le levier majeur réside dans la constitution et l’utilisation d’un index détaillé permettant la navigation dans un corpus d’une telle ampleur et l’accès à des petits extraits du corpus.

La construction de cet index passe nécessairement par un alignement entre le fichier audio et sa transcription écrite. L’équipe de Mining a year of Speech utilise un outil de reconnaissance automatique (Penn Phonetics Laboratory Forced Aligner) qui permet l’alignement automatique dans un premier temps au niveau des mots puis dans un second temps au niveau des segments.

L’aligneur élaboré pour l’anglais américain, est construit sur un modèle acoustique, ce qui permet son utilisation pour aligner des corpus britanniques, les différences de prononciation entre les variétés d’anglais étant prises en compte grâce à la construction d’un dictionnaire multi-dialectes. Bien évidemment, l’alignement forcé entre l’enregistrement sonore et sa transcription phonétique est loin d’être parfait (~23% d’alignement correct et ~80% d’alignement compris entre 2 sec) et ce du notamment aux chevauchements, les bruits de fond, l’hétérogénéité de la qualité du signal sonore, etc. Néanmoins il permet de se repérer dans le corpus.

Une fois l’alignement réalisé, il est possible d’anonymiser les fichiers audio en utiliser les balises d’anonymisation présentes dans les transcriptions (<gap> tags) déjà anonymisées. Dès que l’ensemble du corpus aura été anonymisé,  le BNC oral sera disponible en ligne (voir à titre d’exemple : http://www.phon.ox.ac.uk/SpokenBNC)

Exemples d’application linguistiques

Les applications pour lesquelles ce corpus outillé peut être utilisé sont multiples. Ainsi au niveau phonologique il est par exemple possible d’étudier des phénomènes de variation telles que la variation du –t/-d final en anglais puisqu’on peut disposer d’un grand nombre de réalisations et observer la distribution des durées et des fréquences en fonction de facteurs linguistiques et sociolinguistiques. On peut égaler étudier les phénomènes d’assimilation consonantique et repérer des phénomènes auparavant impossibles ou non attestés grâce à la possibilité d’accéder à un corpus de grande taille comprenant de nombreux types de discours (dont des conversations naturelles).

Caroline CANCE, LLL

Crédits : images tirées du support de présentation de John Coleman.

Pour aller plus loin

Projet Mining a year of Speech

Mining a year of Speech White Paper

Laboratoire de phonétique de l’Université d’Oxford

Laboratoire de phonétique de l’Université de Pennsylvanie

Linguistic Data Consortium

The Penn Phonetics Lab Forced Aligner


[1] Voir dans d’autres domaines les initiatives développées sur le portail de Zooniverse

[2] Ce projet a été commandité par un consortium regroupant des éditeurs de dictionnaires, le gouvernement britannique, le Science and Engineering Research Council et la communauté de chercheurs en linguistique.

Joséphine Simonnot : « Présentation de TELEMETA, un outil de traitement des archives sonores de la recherche. »

Séance du Jeudi 12 janvier 2012

Joséphine Simonnot est ingénieur de recherche au Centre de Recherche en Ethnomusicologie (CREM) du LESC (UMR7186)

Support de présentation de Joséphine Simonnot : PDF

Podcast :

Entretien avec Joséphine Simonnot par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Abigaël Pesses :

Joséphine Simonnot,  ingénieur de recherche au Centre de Recherche en Ethnomusicologie (CREM), nous a présenté les fonctionnalités de la plateforme TELEMETA et le patient parcours de travail préalable à sa mise en production. Cette aventure, tant humaine que technique, remonte 12 ans en arrière lorsque Joséphine Simonnot se voit confier la responsabilité de valoriser un véritable trésor : le fonds d’archives sonores du Musée de l’Homme qui regroupe plus de 5000 collections de musique du monde et de documents sonores, notamment collectés au cours des premières grandes missions scientifiques telles que Dakar-Djibouti (1932) ou Ogooué-Congo (1946). Mais voilà, ce trésor repose sur des supports d’enregistrement variés, en majorité constitué de bandes magnétiques menacées par la décomposition chimique et l’oubli.

Comment donc assurer la conservation de ce patrimoine culturel immatériel ? Comment le rendre accessible à la communauté scientifique, ainsi qu’aux populations d’origine qui le réclament ?

De là, débute un vaste chantier de numérisation qui se couple rapidement avec la nécessité de créer un outil informatique, basé sur des technologies libres, capable de faciliter le méticuleux travail d’indexation des fichiers sonores entrepris en collaboration avec les chercheurs et les populations locales. Pour concevoir ce projet, Joséphine Simonnot va solliciter les compétences de différents experts : Guillaume Pellerin, un développeur orienté recherche, formé au Laboratoire d’Acoustique Musicale (LAM-CNRS/UPMC), Pascal Cordereix (BnF) et Véronique Ginouvès (phonothèque d’Aix-en-Provence), spécialistes des bonnes pratiques de catalogage et d’archivage de documents numériques sonores. Jean-Marc Fontaine et Hugues Genevois, du LAM, ont également joué un rôle important pour les choix techniques et ergonomiques. Cette synergie d’acteurs va aboutir à la réalisation d’une plateforme collaborative de travail, Telemeta, qui utilise des technologies tant ouvertes qu’innovantes pour permettre la description, la consultation et la diffusion en ligne de contenus sonores. Cela dans le respect des normes d’interopérabilité des données et en prévision de leur archivage pérenne.

Le projet porte aujourd’hui ses fruits. Rapidement après sa mise en ligne en juin 2011, les ethnomusicologues du CREM s’approprient aisément cette technologie qui transforme leurs pratiques de travail (actuellement 7130 enregistrements en ligne et 3000 fiches supplémentaires en 6 mois). En effet, il y a encore peu de temps, ces derniers ne pouvaient s’aider que de leurs oreilles et d’un chronomètre pour se repérer dans un enregistrement sonore.

Désormais, Telemeta leur propose un espace de travail dans lequel ils peuvent parcourir et visualiser le son en trois dimensions – temps, fréquence, intensité – avec la possibilité d’introduire des marqueurs temporels pour annoter un continuum sonore. L’application leur permet par ailleurs de compléter eux-mêmes les fiches documentaires, d’y joindre une image et de faire une recherche textuelle ou par zone géographique.

Cette palette d’outils contribue par là-même à affiner l’analyse de ces matériaux et à les enrichir de métadonnées sans lesquelles ces archives demeureraient inexploitables. Les chercheurs peuvent ainsi écouter et faire entendre à tout moment et presque en tout lieu leurs enregistrements. Cet accès facilité au fonds participe à son actuelle renaissance et rajoute du sens à leur ouvrage, tout en améliorant la visibilité de leurs travaux. Selon les mots de Dana Rappoport, ethnomusicologue au CNRS : « c’est une véritable révolution ». Ne serait-ce que par le retour, enfin possible, de ces enregistrements aux populations d’origine, légitimement concernées, ou la transmission qui s’opère entre les générations de chercheurs. En effet, grâce à cet outil et à internet, ces données sonores sont « libérées » de la contrainte des anciens supports analogiques, soumis à l’obsolescence des machines et à une inévitable détérioration.

A la demande du TGE ADONIS, qui soutient le développement de cette application depuis 2010, Joséphine Simonnot travaille actuellement à la production d’une version plus générique de Telemeta. Elle s’inscrit pour cela au sein d’un réseau de laboratoires et d’institutions partenaires en vue d’adapter ce système de dépôt d’archives à d’autres types de corpus ou à d’autres usages disciplinaires : gestion des formats vidéo, des métadonnées métiers et des modes de synchronisation son-texte-image. Cette séance de séminaire a notamment été l’occasion de dialoguer avec des linguistes pour identifier leurs pratiques et besoins spécifiques en la matière.

Crédits : images tirées du support de présentation de Joséphine Simonnot.

Approfondir :

Naviguer dans les collections des archives sonores de CREM:
http://archives.crem-cnrs.fr/

Tester la plateforme TELEMETA en tant qu’administrateur:
http://demo.telemeta.org/
login : demo
mot de passe : demo

Télécharger le CMS audio et obtenir les détails techniques relatifs à son utilisation, sur le wiki du projet : http://telemeta.org