Automatic Cued Speech / LfPC automatisée

La réalité augmentée au service des personnes sourdes

Qu'est ce que le cued speech / La LfPC ?

Le « Cued Speech » (Cornett, 1967), ou Langue française Parlée Complétée (LfPC), est un code pour représenter chaque son d'une langue donnée avec une forme de main pour une consonne et une position autour du visage pour une voyelle. La combinaison est appelée « clé ».

Lorsque les sons se ressemblent sur les lèvres, ils sont codés différemment ; leur combinaison implique un percept unique de ce qui est prononcé.

Grâce à ce code, la lecture labiale est améliorée car les clés permettent de représenter tous les phonèmes, mais les phonèmes avec le même mouvement labial ont des clés différentes.

Illustration des positions et formes de mains

Description du projet :

Résumé

En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré.

Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Nos objectifs

Ce projet se donne deux objectifs majeurs : le premier est d’élaborer un système d’intelligence artificielle (I.A.) capable de coder automatiquement en « Cued Speech », le second est de créer des supports pédagogiques codés.

Un logiciel codeur

Le projet s’articule autour de l’élaboration d’un système d’intelligence artificielle (I.A.) capable de coder automatiquement en « Cued Speech » (CS), pour le français et pour l’anglais américain (le CS américain diffère du CS britannique). Ce système reposera sur l’utilisation du logiciel SPPAS - the automatic annotation and analysis of speech, un logiciel interdisciplinaire pour le traitement automatique de la parole (I.A. et linguistique).

Le système I.A. utilisera des fonctionnalités existantes de SPPAS pour le traitement de l’audio et de la vidéo. Pour ce projet, nous y intégrerons d’une part la génération automatique du codage en CS sous la forme d’un nouveau module d’annotation automatique, d’autre part un plugin pour la création d’une vidéo en réalité augmentée (figure ci-après). Nous produirons ainsi un logiciel codeur en LfPC / Cued Speech.

Des vidéos codées

Avec un tel système de codage automatique, toutes sortes de vidéos codées peuvent être élaborées et diffusées pour tous les types d’utilisations. Des listes de mots, et des textes sur différents thèmes seront lus par un acteur, afin de collecter des vidéos. Une fois codées automatiquement par le logiciel, évaluées et sélectionnées, les vidéos seront assemblées pour créer des capsules pédagogiques destinées au grand public, aux débutants apprenant le code et aux enfants sourds.

Disposer d’outils permettant de s’entraîner à la pratique du code constitue un bénéfice important pour les parents d’enfants sourds, ainsi que pour les centres d'éducation spécialisée, par exemple. Cela permettra entre autres de réduire les inégalités d’accès à la LfPC sur le territoire, d’apporter une aide à l’acquisition de la langue orale par les enfants sourds, d’améliorer la communication entre les personnes sourdes ou malentendantes et les membres de leur famille entendants, ou d’aider à développer des compétences de lecture labiale.

Ethique

Ce projet respectera les principes FAIR (« F » pour facile à trouver, « A » pour accessible, « I » pour interopérable, « R » pour réutilisable) et tous les critères de la science ouverte.

Le Comité pour la science ouverte assure la mise en œuvre de la politique nationale de science ouverte.
Tous les codes sources sont distribués selon les termes de la licence libre GNU GPL v3.

Comment procéder pour coder automatiquement ?

La description des différentes étapes pour coder une vidéo sera disponible à l'issue du projet. Nous en présentons ci-après, une description simplifiée.

Etapes pour produire une vidéo codée en LfPC
Vue simplifiée des étapes pour produire une vidéo codée en LfPC