Laboratoire Parole et Langage, 22-23 juin 2023

Voir les sons avec du "Cued Speech" automatisé :
la réalité augmentée au service des personnes sourdes

https://auto-cuedspeech.org

Brigitte Bigi

Chargée de Recherche

Projet financé par la FIRAH

Fondation Internationale de la Recherche Appliquée sur le Handicap

Cued Speech - origines et objectifs

R. Orin Cornett (1967)

Création d'un code visuel permettant de représenter chaque son d'une langue.
Lèvres ET une main

la main en complément de la lecture labiale
au niveau phonétique
main + lèvres = un percept unique

Donner un accès visuel à la langue orale

Faciliter l'acquisition de compétences en expression orale et en lecture labiale.

La Langue française Parlée Complétée

Encodage de tous les sons et toutes les combinaisons consonne-voyelle
Une clé est produite chaque fois que le locuteur prononce une syllabe
'C' ou 'V' ou 'CV'
Les structures syllabiques plus complexes sont codées avec plusieurs clés :
- 'CCV' = 'C' + 'CV' = 2 clés

Exemple

Codage en LfPC

Objectifs du projet

Le projet consiste à co-créer et co-évaluer un système IA codant automatiquement en Langue française Parlée Complétée et en Cued Speech (anglais américain).

Un logiciel codeur

Des capsules vidéos codées

Membres

Brigitte Bigi

Núria Gala

Michel Pitermann

Carine André

En collaboration avec les associations :
- Datha : https://datha.io
- AISAC : https://www.academieinternationale.org
Participation de stagiaires :

Mathias Cazals

Florian Lopitaux

Audric Vachet

Marie Bauer

Un logiciel codeur

Etat de l'art : Bratakos (1995) a étudié l'impact de l'utilisation de clés de synthèse sur la compréhension du Cued Speech.
SPPAS : https://sppas.org/

Démo - SPPAS 4.11 - juin 2023

Un logiciel codeur

quoi ? déterminer les phonèmes => la clé

quand ? synchronisation main-son

ou ? définir la trajectoire

Quoi ? Clés prédites versus clés produites. Comparaison entre :
1. un système automatique de prédiction des clés
2. des clés produites par des codeurs
Voir (Bigi, 2023)

Production des clés : Corpus CLeLfPC (Bigi et al. 2022)

Des capsules vidéos codées

A partir de textes sélectionnés
Lus par un acteur/une actrice
Enregistrements non codés
Traitements :

Transcription orthographique (manuellement)
Alignement phonétique (automatique)
Génération de la vidéo codée
Validation par les experts du projet
Montage en capsules pédagogiques

Exemple d'annotations sur des enregistrements codés (Bigi, 2023)

Quels supports ?

Alector — http://corpusalector.huma-num.fr

Pour le français : 100 textes narratifs et documentaires pour enfants de 7 à 11 ans, corpus ALECTOR (Gala et al., 2020).
Versions originales et adaptées (simplifiées pour faciliter la lecture).
Notion de progression dans les apprentissages.

Complexité de textes en fonction de leur codage en LfPC.
Graduation en difficulté : prise en compte du nombre, de la fréquence, du type et de la combinaison des clés.

En conclusion

Apports théoriques :
- Une modélisation en IA du codage en LfPC et en Cued Speech américain
Apports pratiques :
- Un système automatique de codage en réalité augmentée
- Deux corpus audio-vidéos annotés : CLeLfPC et CLeCSA
- Des supports d'apprentissage et entraînement à la LfPC

Pour suivre l'évolution du projet, rendez-vous (bientôt !) à l'adresse :

https://auto-cuedspeech.org

Références bibliographiques

Bigi, B., Zimmermann, M., & André, C. (2022). CLeLfPC: a Large Open Multi-Speaker Corpus of French Cued Speech. International conference on Language Resources and Evaluation (LREC 2020), pp 987-994.
Bigi, B. (2023). An analysis of produced versus predicted French Cued Speech keys. In 10th Language & Technology Conference, Human Language Technologies as a Challenge for Computer Science and Linguistics, ISBN: 978-83-232-4176-8, pp. 24-28, Poznań, Poland.
Bratakos, S. (1995). The effect of imperfect cues on the reception of cued speech. PhD Thesis Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science.

Voir les sons avec du "Cued Speech" automatisé : la réalité augmentée au service des personnes sourdes

Brigitte Bigi

Projet financé par la FIRAH

Cued Speech - origines et objectifs

La Langue française Parlée Complétée

Exemple

Objectifs du projet

Un logiciel codeur

Des capsules vidéos codées

Membres

Brigitte Bigi

Núria Gala

Michel Pitermann

Carine André

Mathias Cazals

Florian Lopitaux

Audric Vachet

Marie Bauer

Un logiciel codeur

Un logiciel codeur

Production des clés : Corpus CLeLfPC (Bigi et al. 2022)

Des capsules vidéos codées

Quels supports ?

En conclusion

Références bibliographiques

Voir les sons avec du "Cued Speech" automatisé :
la réalité augmentée au service des personnes sourdes