Un outil de réalité augmentée
pour coder automatiquement les sons du français

Cued Speech - origines et objectifs

• Création d'un code visuel permettant de représenter chaque son d'une langue.
• Lèvres ET une main

• la main en complément de la lecture labiale
• au niveau phonétique
• main + lèvres = un percept unique

• Donner un accès visuel à la langue orale
• Faciliter l'acquisition de compétences en expression orale et en lecture labiale.

La Langue française Parlée Complétée

• Encodage de tous les sons et toutes les combinaisons consonne-voyelle
• Une clé est produite chaque fois que le locuteur prononce une syllabe
  'C' ou 'V' ou 'CV'
• Les structures syllabiques plus complexes sont codées avec plusieurs clés :
  • 'CCV' = 'C' + 'CV' = 2 clés

Exemple

Objectifs du projet

Le projet consiste à co-créer et co-évaluer un système IA codant automatiquement en Langue française Parlée Complétée et en Cued Speech anglais américain.

Un logiciel codeur

Des capsules vidéos codées

Un logiciel codeur

Des capsules vidéos codées

• A partir de textes sélectionnés
• Lus par un acteur
• Enregistrements non codés
• Traitements :
  1. Transcription orthographique (manuel)
  2. Phonétisation et alignement (semi-auto)
  3. Génération de la vidéo codée (auto)
  4. Validation par les experts du projet
  5. Montage en capsules pédagogiques

Quels supports ?

• Pour le français : 100 textes narratifs et documentaires pour enfants de 7 à 11 ans, corpus ALECTOR (Gala et al., 2020).
• Versions originales et adaptées (simplifiées pour faciliter la lecture).
• Notion de progression dans les apprentissages.

• Complexité de textes en fonction de leur codage en LfPC (Gala, et al., 2024)
• Graduation en difficulté : prise en compte du nombre, de la fréquence, du type et de la combinaison des clés.

Ce que nous allons produire / nos objectifs finaux

• Apports théoriques :
  • Une modélisation du codage : en LfPC et en Cued Speech américain
• Apports pratiques :
  • ++ Un outil de conversion texte vers code
  • +- Deux corpus audio-vidéos annotés : CLeLfPC et CLeCSA
  • +- Un système automatique de codage en réalité augmentée (SPPAS)
  • +- Des supports d'apprentissage et entraînement à la LfPC

Pour suivre l'évolution du projet, rendez-vous à l'adresse :

https://auto-cuedspeech.org

Références bibliographiques

• Bigi, B., Zimmermann, M., & André, C. (2022). CLeLfPC: a Large Open Multi-Speaker Corpus of French Cued Speech. International conference on Language Resources and Evaluation (LREC 2020), pp 987–994.
• Bigi, B. (2023). An analysis of produced versus predicted French Cued Speech keys. In 10th Language & Technology Conference, Human Language Technologies as a Challenge for Computer Science and Linguistics, ISBN: 978-83-232-4176-8, pp. 24-28, Poznań, Poland.
• Gala, N., Bigi, B., & Bauer, M. (2024). Automatically Estimating Textual and Phonemic Complexity for Cued Speech: How to See the Sounds from French Texts In The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), pp. 1817-1824, Turin, Italie.
• Bratakos, S. (1995). The effect of imperfect cues on the reception of cued speech. PhD Thesis Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science.

Licence

Ce document est une œuvre de création, propriété exclusive du LPL, protégé par la législation française et internationale sur le droit de la propriété intellectuelle, sous Licence CC-by-NC-ND (Attribution / Pas d’Utilisation Commerciale / Pas de Modification). Cette licence autorise toute diffusion (partager, copier, reproduire, distribuer, communiquer), sauf à des fins commerciales, par tous moyens et sous tous formats, tant que l'oeuvre est diffusée sans modification et dans son intégralité. Vous êtes libre de copier, distribuer et transmettre ce document, à condition que vous créditiez le projet auto-cuedspeech.org.