VESPA : Variation Et Singularité dans la PArole

Réunion d'équipe - 06 juin 2023

Voir les sons avec du "Cued Speech" automatisé :
Clés produites versus clés prédites

Brigitte Bigi

Chargée de Recherche en Traitement Automatique de la Parole

Cued Speech - origines et objectifs

R. Orin Cornett (1967)

Création d'un code visuel permettant de représenter chaque son d'une langue.
Encodage de tous les sons et toutes les combinaisons consonne-voyelle CV.

Multimodal : lèvres + main
- la main en complément de la lecture labiale
- au niveau phonétique

Donner un accès visuel à la langue orale

Faciliter l'acquisition de compétences en expression orale et en lecture labiale.

La Langue française Parlée Complétée

Une clé est produite chaque fois que le locuteur prononce une syllabe 'C' ou 'CV'
Les structures syllabiques plus complexes sont codées avec plusieurs clés :
- 'CCV' = 'C' + 'CV' = 2 clés
main + lèvres = un percept unique

Exemple

Codage en LfPC

Voir les sons avec du "Cued Speech" automatisé :

La réalité augmentée au service des personnes sourdes

https://auto-cuedspeech.org

Projet financé par la FIRAH
Fondation Internationale de la Recherche Appliquée sur le Handicap

Objectifs du projet

Le projet consiste à co-créer et co-évaluer un système IA codant automatiquement en Langue française Parlée Complétée et en Cued Speech (anglais américain).

Un logiciel codeur

Des capsules vidéos codées

Membres

Brigitte Bigi

Núria Gala

Michel Pitermann

Carine André

En collaboration avec les associations :
- Datha : https://datha.io
- AISAC : https://www.academieinternationale.org
Participation de stagiaires :

Mathias Cazals

Florian Lopitaux

Audric Vachet

Marie Bauer

Un logiciel codeur

Etat de l'art : Bratakos (1995) a étudié l'impact de l'utilisation de clés de synthèse sur la compréhension du Cued Speech.

Preuve de concept - SPPAS 4.10 - avril 2023

Un logiciel codeur

quoi ? déterminer les phonèmes => la clé

quand ? synchronisation main-son

ou ? définir la trajectoire

Quoi ? Clés prédites versus clés produites. Comparaison entre :
1. un système automatique de prédiction des clés
2. des clés produites par des codeurs

Prédiction des clés : exemple

Phonèmes : 9~ d @ m i p o # d H i l d @ k o k o
Time groups :
- TG1 : 9~ d @ m i p o
- TG2 : d H i l d @ k o k o
Classes :
- TG1 : V C V C V C V
- TG2 : C C V C C V C V C V
Segmentation :
- TG1 : -V.CV.CV.CV
- TG2 : C-.CV.C-.CV.CV.CV
Phonèmes :
- TG1 : 9~.d@.mi.po
- TG2 : d.Hi.l.d@.ko.ko
Code des clés :
- TG1 : 5t.1s.5m.1s
- TG2 : 1s.4m.6s.1s.2s.2s

Production des clés : exemples

Corpus CLeLfPC : https://hdl.handle.net/11403/clelfpc

Clés prédites vs produites : exemple

Clés prédites vs produites : analyses quantitatives

Analyse quantitative : méthode d'évaluation

insertion : Les codeurs ont produits 8 clés non prédites ;
suppression : Les codeurs n'ont pas produit 47 clés prédites par le système ;
substitution : Les codeurs produisent 183 clés différemment de celles prédites.

Le nombre d'insertions et de supressions est nettement inférieur au nombre de substitutions, et quasiment anecdotique relativement à la taille de l'échantillon analysé.

Analyse qualitative des 183 substitutions

16 sont des clés ’C’ (8,7 %)
22 sont des clés ’V’ (12 %)
145 sont des clés ’CV’ (79,2 %) :
- 1 substitution : à la fois la forme et la position ;
- 6 substitutions : forme de la main uniquement ;
- 138 substitutions : la position uniquement.

Les substitutions concernent (87,4 %) la position (voyelles) bien plus souvent que la forme de main (la consonne).

Substitution de la voyelle : /@/

/@/ est 88 fois (48 %) à la position (b) au lieu de (s)
La position (b) est celle de la voyelle /2/
- en revanche, /2/ n'est jamais codé à la position (s).
Deux codeurs sont majoritairement concernés : VT 45 fois et LM 40 fois
Cette substitution n'est réalisée que sur un petit nombre de mots:
- “de”, “le”, “ne”, “que”

Substitution de la voyelle : /e/

/e/ est codé 32 fois à la position (c) au lieu de (t)
La position (c) est celle de la voyelle /E/
Deux codeurs sont majoritairement concernés : 18 fois VT et 9 fois CH
S'opère sur certains mots en particulier, mais pas de façon systématique

Substitution de la voyelle : /9~/

/9~/ est codé 17 fois à la position (b) au lieu de (t)
La position (b) est celle de la voyelle /e∼/
Cette différence est majoritairement observée chez CH (12 fois), sur le mot "un".

Perspectives

Quoi ?
- Confirmer les résultats de l'étude sur 20 locuteurs
- Adapter le système à l'anglais américain
Quand ?
Ou ?

Références bibliographiques

Bigi, B., Zimmermann, M., & André, C. (2022). CLeLfPC: a Large Open Multi-Speaker Corpus of French Cued Speech. International conference on Language Resources and Evaluation (LREC 2020), pp 987-994.
Bigi, B. (2023). An analysis of produced versus predicted French Cued Speech keys. In 10th Language & Technology Conference, Human Language Technologies as a Challenge for Computer Science and Linguistics, ISBN: 978-83-232-4176-8, pp. 24-28, Poznań, Poland.
Bratakos, S. (1995). The effect of imperfect cues on the reception of cued speech. PhD Thesis Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science.

Voir les sons avec du "Cued Speech" automatisé : Clés produites versus clés prédites

Brigitte Bigi

Cued Speech - origines et objectifs

La Langue française Parlée Complétée

Exemple

Voir les sons avec du "Cued Speech" automatisé :

La réalité augmentée au service des personnes sourdes

Objectifs du projet

Un logiciel codeur

Des capsules vidéos codées

Membres

Brigitte Bigi

Núria Gala

Michel Pitermann

Carine André

Mathias Cazals

Florian Lopitaux

Audric Vachet

Marie Bauer

Un logiciel codeur

Un logiciel codeur

Prédiction des clés : exemple

Production des clés : exemples

Clés prédites vs produites : exemple

Clés prédites vs produites : analyses quantitatives

Analyse quantitative : méthode d'évaluation

Analyse qualitative des 183 substitutions

Substitution de la voyelle : /@/

Substitution de la voyelle : /e/

Substitution de la voyelle : /9~/

Perspectives

Références bibliographiques

Voir les sons avec du "Cued Speech" automatisé :
Clés produites versus clés prédites