Automatic Cued Speech / LfPC automatisée

La réalité augmentée au service des personnes sourdes

Livrable WP1 - L3 : Transitions des clés

Contexte et objectifs

Description du corpus

CLeLfPC - Corpus de Lecture en LfPC, contient des enregistrements audio/vidéo de lecture à voix haute en codant en Langue française Parlée Complétée. Le corpus a été enregistré en août 2021 à l'occasion du stage organisé par l'ALPC (https://alpc.asso.fr).

Le corpus est constitué des enregistrements de 25 thèmes par 23 participants. Une série de 10 thèmes de lecture avait été établie, elle peut être consultée à cette adresse : https://sppas.org/LFPC/.

Chacun des 10 thèmes est constitué de 4 sessions distinctes :

  1. enregistrement audio/vidéo de 32 syllabes "CV" isolées (1 seule clé produite pour chaque syllabe),
  2. enregistrement audio/vidéo de 32 mots ou expressions,
  3. enregistrement audio/vidéo de phrases isolées,
  4. enregistrement audio/vidéo d'un texte.

Objectif

Le corpus doit être enrichi d'annotations pour être exploité dans le cadre de ce projet. Ce livrable concerne l'annotation des transitions des clés. Nous avons analysé les moments où les clés, produites par les locuteurs du corpus, se déplacent.

Les transitions de clés de 5 thèmes ont été annotées manuellement.

En savoir plus...

Enregistrements annotés

Ci-dessous, voici la liste des enregistrements pour lesquels nous disposons des transitions de clés :

Les fichiers (audios, vidéos, annotations) sont déposés sous les termes de la licence publique CC-By-NC-4.0. Ils peuvent être téléchargés à partir de la version 10 du dépôt https://www.ortolang.fr par tout membre d'un Etablissement Supérieur de la Recherche. Pour toute autre demande, envoyer un e-mail à brigitte.bigi[.at.]cnrs.fr.

Description des étapes réalisées pour obtenir les annotations

Annotations automatiques avec SPPAS

Le système de génération automatique des clés LfPC implémenté dans SPPAS a été utilisé pour générer automatiquement les annotations.

Ce système a utilisé les clés corrigées manuellement (c.f. WP1-L2) et a généré les moments supposés de transitions de clés. La figure ci-dessous illustre, entre-autre, ces entrées et sorties du système.

Capture d'écran de l'éditeur de SPPAS
Extrait d'annotations des transitions des clés. Capture d'écran SPPAS 4.22

La figure illustre les lignes d'annotations temporelles suivantes :

  1. alignement temporel des phonèmes
  2. alignement temporel des mots
  3. segmentation en clé des phonèmes après correction manuelle
  4. code des clés après correction manuelle
  5. structure des clés après correction manuelle
  6. moments de transition des configurations de la main, générés automatiquement
  7. moments de transition des positions, générés automatiquement

Corrections manuelles avec l'éditeur de SPPAS

Pour corriger les lignes des annotations automatiques, il a fallu visionner les vidéos image-par-image (avec 60 images par seconde) en comparant les annotations des moments de mouvements obtenues automatiquement à celui qui est effectivement réalisé par le locuteur de chaque vidéo. Ce travail étant extrêmement fastidieux et extrêmement chronophage, il n'a pu être réalisé que sur une partie des données.

Cette annotation n'a été possible que grâce à l'utilisation de l'éditeur de SPPAS, dont un module a été spécifiquement développé à cette occasion (diffusé depuis la version 4.12). La figure suivante montre cette version, avec notamment une fenêtre qui contient 3 images consécutives de la vidéo ainsi que la ligne d'annotation qui est en cours d'analyse.

Capture d'écran de l'éditeur de SPPAS
Edition d'annotation des transitions des clés. Capture d'écran SPPAS 4.22

Limitations

Les annotations qui ont été produites n'ont pas été contre-codées, c'est-à-dire qu'elles n'ont pas été vérifiées par une seconde personne. Elles sont donc susceptibles de contenir des erreurs (oublis, fautes de frappes, imprécisions, etc) inhérentes à toute annotation manuelle.

Contributeurs

Annotation du corpus : Léa Delaporte (juillet/août 2024)

Développement logiciel : Audric Vachet, Brigitte Bigi (avril/août 2023)

À propos