Exemple de vidéo codée automatiquement

Au commencement, il faut...

1. la vidéo
2. l'audio (non compressé)
3. la transcription orthographique exacte (dans des segments)

1. Les défis relevés

pour coder automatiquement en LfPC

      

Défi 1 : déterminer la séquence des phonèmes

Solution pour déterminer la séquence des phonèmes

1. Normaliser le texte donné
   • Supprime la ponctuation, les majuscules...
   • Détermine les mots
2. Phonétiser le texte normalisé
   • Consulte un dictionnaire de prononciations, ou
   • Propose une ou plusieurs prononciations si le mot est inconnu
3. Aligner sur le signal audio
   • Fait le lien entre toutes les prononciations et l'audio
   • Choisit celle qui semble la plus adéquate
   • Détermine la position de chaque phonème

Défi 2 : déterminer la séquence des clés

Solution pour déterminer la séquence des clés - exemple

un demi pot + d'huile de coco

• Phonèmes :
  • 9~ d @ m i p o + d H i l d @ k o k o
• Time groups :
  • TG1 : 9~ d @ m i p o
  • TG2 : d H i l d @ k o k o
• Classes :
  • TG1 : V C V C V C V
  • TG2 : C C V C C V C V C V
• Segmentation :
  • TG1 : -V.CV.CV.CV
  • TG2 : C-.CV.C-.CV.CV.CV
• Phonèmes :
  • TG1 : 9~.d@.mi.po
  • TG2 : d.Hi.l.d@.ko.ko
• Code des clés :
  • TG1 : 5t.1s.5m.1s
  • TG2 : 1s.4m.6s.1s.2s.2s

Evaluation de la solution pour déterminer les clés

• Etude des clés prédites versus clés produites. Comparaison entre :
  1. le système automatique de prédiction des clés
  2. les clés produites par des codeurs

Analyse quantitative

5 codeurs, 4143 clés annotées

• insertion : Les codeurs ont produits 8 clés non prédites ;
• suppression : Les codeurs n'ont pas produit 47 clés prédites par le système ;
• substitution : Les codeurs ont produit 183 clés différemment de celles prédites.

Analyse qualitative des 183 substitutions

Les substitutions concernent (87,4 %) la position (voyelles) bien plus souvent que la forme de main (la consonne).

• Les voyelles substituées sont :
  • /@/ codé 88 fois à la place de /2/
  • /e/ codé 32 fois à la place de /E/
  • /9~/ codé 17 fois à la place de /e~/

Déterminer les phonèmes puis les clés à partir d'un texte

Notice descriptive : https://auto-cuedspeech.org/wp2l1.html

Démos en ligne :
• https://auto-cuedspeech.org/textcue.html
• https://sppas.org/textcue.html

Défi 3 : déterminer quand afficher les clés

Solutions pour déterminer quand afficher les clés

La main précède le son

• Etat de l'art :
  • Duchnowski et al. (2000)
  • V. Attina (2005) & N. Aboutabit (2008)
• 2022 : Proposition d'un modèle
• ...
• 2025 : Proposition d'un modèle révisé après analyse des annotations des transitions de 5 codeurs

Solutions pour déterminer quand afficher les clés

Notice descriptive "Système prédictif des moments de transition de positions" : https://auto-cuedspeech.org/wp3l1.html

Notice descriptive "Analyse des moments de transition de positions" : https://auto-cuedspeech.org/wp3l2.html

L’ensemble de ces résultats illustre la flexibilité élevée du codage en LfPC.

Défi 4 : déterminer la position des voyelles

1. détecter le visage
2. déterminer les éléments du visage (bouge, yeux, nez...)
3. définir une "zone" relative des voyelles

Solution pour détecter le visage

Face detection:

Face identity:

Solution pour déterminer les éléments du visage

Solutions pour définir une "zone" relative des voyelles

Notice descriptive "Analyse des positions des voyelles" :
https://auto-cuedspeech.org/wp4l2.html

Solution pour définir une "zone" relative des voyelles

Défi 5 : déterminer la trajectoire de la main

• Ligne droite
• Vitesse constante

Défi 6 : déterminer l'angle de la main

• Selon la position :

Défi 7 : déterminer la taille de la main

Un ratio fixé utilisant :

Défi 8 : déterminer l'aspect de la main

Photos ou dessins de mains

Défi 8 : déterminer l'aspect de la main... et les 21 points de chacune !

Photos ou dessins de mains

En résumé... Coder automatiquement en LfPC : les 8 défis

• Défi 1 : déterminer la séquence des phonèmes
  • soit entièrement automatique, soit automatique avec correction manuelle
• Défi 2 : déterminer la séquence des clés
  • un fichier de règles de génération
• Défi 3 : déterminer quand afficher les clés
  • 5 modèles proposés
• Défi 4 : déterminer la position des voyelles
  • 4 modèles proposés

Coder automatiquement en LfPC : les 8 défis

• Défi 5 : déterminer la trajectoire de la main
  • toujours en ligne droite
• Défi 6 : déterminer l'angle de la main
  • 4 modèles proposés
• Défi 7 : déterminer la taille de la main
  • un ratio fixe
• Défi 8 : déterminer l'aspect de la main
  • des séries de photos ou de dessins

2. Evaluer les vidéos codées

... sont-elles correctement décodées ?

Mise en place d'une expérimentation

Résultats de l'expérience 2024

3 modèles de "quand" (défi 3) 3 modèles d'angle (défi 6) 4 séries de mains (défi 8) 3 add-ons pour les mains (défi 8)

1. le modèle "quand" est satisfaisant, mais doit être amélioré
2. les mains dessinées sont nettement préférable aux photos
3. un angle variant modérément (ou pas du tout) est préférable
4. pas d'ajout d'information sur les mains

Expérience 2025

• 1 modèle supplémentaire de "quand" (défi 3)
• 1 modèle supplémentaire d'angle (défi 6)
• 1 nouvelle série de mains (défi 8)
• 3 modèles de positions des voyelles (défi 4)

Il manque 2 volontaires pour décoder les vidéos, et connaître les résultats !

Les résultats définiront les conditions qui offrent un meilleur décodage ; elles permettront de créer une série de vidéos codées automatiquement. Les vidéos seront disponibles sur le site web du projet.

3. Et après ?

... Le projet VizLector

VizLector

Création de supports visuels en LfPC pour l’apprentissage de la lecture des enfants Sourds

1. Système de génération automatique du codage LfPC basé sur l’IAG
2. Base de documents audiovisuels codés automatiquement en LfPC

2025-2028

Licence

Ce document est une œuvre de création, propriété exclusive du LPL, protégé par la législation française et internationale sur le droit de la propriété intellectuelle, sous Licence CC-by-NC-ND (Attribution / Pas d’Utilisation Commerciale / Pas de Modification). Cette licence autorise toute diffusion (partager, copier, reproduire, distribuer, communiquer), sauf à des fins commerciales, par tous moyens et sous tous formats, tant que l'oeuvre est diffusée sans modification et dans son intégralité. Vous êtes libre de copier, distribuer et transmettre ce document, à condition que vous créditiez le projet auto-cuedspeech.org.