John Coleman : « Mining a year of speech »

John Coleman est linguiste, Professeur au laboratoire de phonétique de l’Université d’Oxford (http://www.phon.ox.ac.uk/).  Il mène en collaboration avec d’autres équipes de recherche le projet « Mining a year of Speech » (http://www.phon.ox.ac.uk/mining).

Support de présentation : PDF

Podcast :   

Entretien avec John Coleman par Gabriel Bergounioux : partie 1, partie 2, partie 3

Compte-rendu par Caroline Cance :

visualisation (sonogramme) du signal sonore "mining a year of speech"

John Coleman nous a présenté le 5 avril dernier le projet collectif  « Mining a year of Speech » (exploiter un an de paroles), fruit d’une collaboration entre son équipe du Oxford University Phonetics Laboratory, la British Library, le Laboratoire de Phonétique et le Linguistic Data Consortium de l’Université de Pennsylvanie. Ce travail, financé par l’appel à projet international « Digging into data Challenge » s’est développé dans un contexte de véritable explosion des quantités de données collectées et analysées dans tous les domaines des sciences et des humanités.

Si la question de l’exploitation de bases de données colossales demeure relativement « simple » à résoudre pour les bases de données écrites, elle soulève plusieurs enjeux majeurs et spécifiques en ce qui concerne les collections de corpus audio / oraux.

– En effet, comment donner la possibilité à un utilisateur de retrouver dans un grand corpus audio les extraits sonores qui l’intéressent ?

– Comment annoter ces corpus pour faciliter la recherche et la consultation de tels corpus ?

– et enfin, comment rendre disponibles et consultables ces bases de données très volumineuses ?

Le projet Mining a year of Speech tente de répondre à ces différents enjeux. La base de données est constituée de plusieurs corpus de langue anglaise (Royaume Uni et Etats Unis) et comprend plusieurs milliers d’heure d’enregistrement de toute sorte : conversations quotidiennes spontanées, appels téléphoniques, livres audio, journaux radiophoniques et télévisées, discours et débats politiques, plaidoiries à la cour suprême … etc.  Si l’intérêt de telles bases de données de l’oral est évident pour les linguistes, il l’est aussi pour d’autres domaines des sciences humaines, à l’instar des juristes qui peuvent grâce à ces corpus outillés effectuer par exemple une analyse du nombre d’interruptions dans un jugement et de leur effet  sur ledit jugement. Localisés à différents endroits, les différents corpus qui constituent « a year of speech » sont organisées en nuage (cloud computing) et partagent le même schéma d’indexation et les mêmes outils de recherche. Il s’agit ainsi davantage d’un corpus collaboratif que d’une collection de corpus, mis à disposition grâce à une fédération de fournisseurs d’accès. Ceci permet d’envisager l’ajout d’autres corpus mais également un travail collaboratif  (crowd-sourcing[1]) au niveau des transcriptions, puisque l’interface permet aux utilisateurs d’ajouter leurs propres annotations, de proposer une transcription alternative …

illustration du BNC oralLe British National Corpus

La base de données de Mining a year of Speech comprend pour l’anglais britannique toute la partie orale transcrite du British National Corpus (10% du BNC). Collecté dans les années 1990 (1990-1994), le BNC avait pour principal objectif de donner un aperçu (documenter) de l’anglais britannique de la fin du 20ème siècle[2]. Il s’agissait de construire un très grand corpus écrit et oral, synchronique, annoté (classes de mots et information contextuelle), pour améliorer à terme les dictionnaires de langue.

Le BNC oral comprend entre 2 à 3 mois d’enregistrements (1400 heures) ce qui le place toujours en tête des initiatives du genre dans le domaine des corpus oraux transcrits.

A titre indicatif, le corpus Year of Speech dans son ensemble représente quant à lui 1 TB de données ; et si on le compare avec les grandes bases de données manipulées dans le domaine des sciences et technologies, on s’aperçoit que ce type de corpus en sciences humaines se situe dans un ordre de grandeur similaire (0,5TB/an pour le télescope Hubble et 16TB pour le Sloane digital sky survey et 13PB pour l’accélérateur de particules du CERN).

La constitution d’un tel corpus à l’aube du 21ème siècle (et son exploitation actuelle) a nécessité la levée de plusieurs verrous technologiques et méthodologiques :

Collecte : pour garantir une certaine représentativité du corpus, un échantillonnage démographique a été réalisé. 124 volontaires hommes et femmes appartenant à différentes classes d’âge, socioprofessionnelles et localisations géographiques se sont vus fournir des enregistreurs analogiques (type walkman). La consigne étant d’enregistrer leurs conversations pendant 2 à 3 jours. Afin de contrebalancer cette collecte de conversations spontanées un échantillonnage contextuel a également été mis en place permettant de recueillir des enregistrements dans différents types de contextes (éducatifs et informationnels, professionnels, institutionnels et loisirs).

Transcription : Tous ces enregistrements ont été transcrits orthographiquement par des dactylographes et les transcriptions comportent également des annotations faisant état de l’organisation des tours de parole et des chevauchements entre locuteurs, des mots tels que perçus par le transcripteur/trice, des hésitations, mots tronqués, faux départs, des pauses, de l’intonation … ainsi que des informations sur les locuteurs et le contexte d’enregistrement quand disponible.

Stockage des données : un des soucis majeurs rencontrés au moment de la constitution du BNC. Ainsi pendant de nombreuses années le corpus audio a sommeillé au National Sound Archive sous forme de cassettes, celles-ci ne pouvaient être publiées car non anonymisées, à la différence des transcriptions qui ont pu être publiées. Depuis quelques années les possibilités de numérisation et de stockage pérenne se sont développées. Ainsi en 2009-2010 la numérisation de l’ensemble des cassettes audio a pu être réalisée en collaboration avec la British Library.

Les enjeux se situent à présent au niveau du temps nécessaire i) pour aligner un an de d’enregistrement de discours oral avec sa transcription (3 mois environ), ii) pour déplacer, copier et/ou télécharger de tels corpus (des jours voire des semaines …). Enfin et surtout, le levier majeur réside dans la constitution et l’utilisation d’un index détaillé permettant la navigation dans un corpus d’une telle ampleur et l’accès à des petits extraits du corpus.

La construction de cet index passe nécessairement par un alignement entre le fichier audio et sa transcription écrite. L’équipe de Mining a year of Speech utilise un outil de reconnaissance automatique (Penn Phonetics Laboratory Forced Aligner) qui permet l’alignement automatique dans un premier temps au niveau des mots puis dans un second temps au niveau des segments.

L’aligneur élaboré pour l’anglais américain, est construit sur un modèle acoustique, ce qui permet son utilisation pour aligner des corpus britanniques, les différences de prononciation entre les variétés d’anglais étant prises en compte grâce à la construction d’un dictionnaire multi-dialectes. Bien évidemment, l’alignement forcé entre l’enregistrement sonore et sa transcription phonétique est loin d’être parfait (~23% d’alignement correct et ~80% d’alignement compris entre 2 sec) et ce du notamment aux chevauchements, les bruits de fond, l’hétérogénéité de la qualité du signal sonore, etc. Néanmoins il permet de se repérer dans le corpus.

Une fois l’alignement réalisé, il est possible d’anonymiser les fichiers audio en utiliser les balises d’anonymisation présentes dans les transcriptions (<gap> tags) déjà anonymisées. Dès que l’ensemble du corpus aura été anonymisé,  le BNC oral sera disponible en ligne (voir à titre d’exemple : http://www.phon.ox.ac.uk/SpokenBNC)

Exemples d’application linguistiques

Les applications pour lesquelles ce corpus outillé peut être utilisé sont multiples. Ainsi au niveau phonologique il est par exemple possible d’étudier des phénomènes de variation telles que la variation du –t/-d final en anglais puisqu’on peut disposer d’un grand nombre de réalisations et observer la distribution des durées et des fréquences en fonction de facteurs linguistiques et sociolinguistiques. On peut égaler étudier les phénomènes d’assimilation consonantique et repérer des phénomènes auparavant impossibles ou non attestés grâce à la possibilité d’accéder à un corpus de grande taille comprenant de nombreux types de discours (dont des conversations naturelles).

Caroline CANCE, LLL

Crédits : images tirées du support de présentation de John Coleman.

Pour aller plus loin

Projet Mining a year of Speech

Mining a year of Speech White Paper

Laboratoire de phonétique de l’Université d’Oxford

Laboratoire de phonétique de l’Université de Pennsylvanie

Linguistic Data Consortium

The Penn Phonetics Lab Forced Aligner


[1] Voir dans d’autres domaines les initiatives développées sur le portail de Zooniverse

[2] Ce projet a été commandité par un consortium regroupant des éditeurs de dictionnaires, le gouvernement britannique, le Science and Engineering Research Council et la communauté de chercheurs en linguistique.