Création de supports en langue française parlée complétée (LfPC) pour faciliter l'accès à la langue orale via l'écrit

Núria Gala

Professeure des Universités en Sciences du Langage

Brigitte Bigi

Chargée de Recherche en Traitement Automatique des Langues

Contexte

La grande majorité (environ 90 %) des parents d’enfants sourds ou avec des déficiences auditives sont entendants (Jones, 1989 - cité par Rannou, 2017).
La langue orale est celle de la sphère familiale.
Sa connaissance (représentations phonologiques) facilite l'accès à l'écrit et l'apprentissage de la lecture (Alegria et al., 2010).

Comment rendre la langue orale visuellement accessible aux personnes sourdes ou malentendantes ?
La simple lecture labiale ne suffit pas, il y a des ambiguïtés (ex. main, pain, bain)

Cued Speech - origines et objectifs

R. Orin Cornett (1967) professeur américain

Création d'un code visuel permettant de représenter chaque son d'une langue.
Encodage de tous les sons et toutes les combinaisons consonne-voyelle CV.

Donner un accès visuel à la langue orale

Faciliter l'acquisition de compétences en expression orale et en lecture labiale.

Permettre aux apprenants de devenir des bons lecteurs grâce à une meilleure compréhension des sons et de la structure d'une langue orale.

Cued Speech - principes

Multimodal : lèvres + main
- la main en complément de la lecture labiale
- au niveau phonétique

Représenter chaque son avec :

une forme de main pour une Consonne

une position autour du visage pour une Voyelle

La combinaison est appelée « clé ».

De plus en plus populaire : adapté à 65 langues environ.
En français : Langue française Parlée Complétée (LfPC).

La Langue française Parlée Complétée

Une clé est produite chaque fois que le locuteur prononce une syllabe 'C' ou 'CV'
Les structures syllabiques plus complexes sont codées avec plusieurs clés :
- 'CCV' = 'C' + 'CV' = 2 clés
Lorsque les sons se ressemblent sur les lèvres, ils sont codés différemment (ex. 'p', 'm', 'b').

Exemple

Codage en LfPC

Voir les sons avec du "Cued Speech" automatisé :

La réalité augmentée au service des personnes sourdes

https://auto-cuedspeech.org

Projet financé par la FIRAH
Fondation Internationale de la Recherche Appliquée sur le Handicap

Objectifs du projet

Le projet consiste à co-créer et co-évaluer un système IA codant automatiquement en Langue française Parlée Complétée et en Cued Speech (anglais américain).

Un logiciel codeur

Des capsules vidéos codées

Système existant : Bratakos (1995) a étudié l'impact de l'utilisation de clés de synthèse sur la compréhension du Cued Speech.

Un logiciel codeur

Preuve de concept - SPPAS 4.10 - avril 2023

Des capsules vidéos codées

A partir de textes sélectionnés
Lus par un acteur/une actrice
Enregistrements non codés
Traitements :

Transcription orthographique (manuellement)
Alignement phonétique (automatique)
Génération de la vidéo codée
Validation par les experts du projet
Montage en capsules pédagogiques

Exemple d'annotations sur des enregistrements codés (Bigi, 2023)

Quels supports ?

Alector — http://corpusalector.huma-num.fr

Pour le français : 100 textes narratifs et documentaires pour enfants de 7 à 11 ans, corpus ALECTOR (Gala et al., 2020).
Versions originales et adaptées (simplifiées pour faciliter la lecture).
Notion de progression dans les apprentissages.

Complexité de textes en fonction de leur codage en LfPC.
Graduation en difficulté : prise en compte du nombre, de la fréquence, du type et de la combinaison des clés.

En conclusion

Apports théoriques :
- Une modélisation en IA du codage en LfPC
- Une modélisation de la complexité du codage de la langue française
Apports pratiques :
- Un système de réalité augmentée
- Un corpus de vidéos...
- Des supports d'apprentissage et entraînement à la LfPC

Pour suivre l'évolution du projet, rendez-vous (bientôt !) à l'adresse :

https://auto-cuedspeech.org

Núria Gala

Professeure des Universités en Sciences du Langage

Brigitte Bigi

Chargée de Recherche en Traitement Automatique des Langues

En collaboration avec les associations :
- Datha : https://datha.io
- ALPC : https://alpc.asso.fr
- AISAC : https://www.academieinternationale.org
Participation de stagiaires à Aix-Marseille Université (printemps-été 2023) :

Mathias Cazals

Florian Lopitaux

Audric Vachet

Marie Bauer

Références bibliographiques

Alegria, J., Dejean, K., Capouillez, J.-M., & Leybaert, J. (1990). Role played by Cued Speech in the identification of written words encountered for the first time by deaf children: a preliminary report. Journal of the National Cued Speech Association, vol. 4, 4-9.
Bigi, B., Zimmermann, M., & André, C. (2022). CLeLfPC: a Large Open Multi-Speaker Corpus of French Cued Speech. International conference on Language Resources and Evaluation (LREC 2020), pp 987-994.
Bigi, B. (2023). An analysis of produced versus predicted French Cued Speech keys. In 10th Language & Technology Conference, Human Language Technologies as a Challenge for Computer Science and Linguistics, ISBN: 978-83-232-4176-8, pp. 24-28, Poznań, Poland.
Bratakos, S. (1995). The effect of imperfect cues on the reception of cued speech. PhD Thesis Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science.
Gala, N., Tack, A., Javourey-Drevet, L., François, T. & Ziegler, J.-C. (2020) Alector: A Parallel Corpus of Simplified French Texts with Alignments of Misreadings by Poor and Dyslexic Readers. International conference on Language Resources and Evaluation (LREC 2020), 1353-1361.
Jones, E. (1989). Evaluating the success of deaf parents. American Annals of the Deaf, 134(5), 312-316.
Rannou, P. (2017). Parents entendants d’enfants sourds en France : récits de mères illustrant les écarts entre discours officiels et pratiques des professionnels face à la diversité des modèles de communication existants. Alterstice, 7(2), 67–76.