Livrable WP1 - L3 : Transitions des clés
Contexte et objectifs
Description du corpus
CLeLfPC - Corpus de Lecture en LfPC, contient des enregistrements audio/vidéo de lecture à voix haute en codant en Langue française Parlée Complétée. Le corpus a été enregistré en août 2021 à l'occasion du stage organisé par l'ALPC (https://alpc.asso.fr).
Le corpus est constitué des enregistrements de 25 thèmes par 23 participants. Une série de 10 thèmes de lecture avait été établie, elle peut être consultée à cette adresse : https://sppas.org/LFPC/.
Chacun des 10 thèmes est constitué de 4 sessions distinctes :
- enregistrement audio/vidéo de 32 syllabes "CV" isolées (1 seule clé produite pour chaque syllabe),
- enregistrement audio/vidéo de 32 mots ou expressions,
- enregistrement audio/vidéo de phrases isolées,
- enregistrement audio/vidéo d'un texte.
Objectif
Le corpus doit être enrichi d'annotations pour être exploité dans le cadre de ce projet. Ce livrable concerne l'annotation des transitions des clés. Nous avons analysé les moments où les clés, produites par les locuteurs du corpus, se déplacent.
Les transitions de clés de 5 thèmes ont été annotées manuellement.
En savoir plus...
Enregistrements annotés
Ci-dessous, voici la liste des enregistrements pour lesquels nous disposons des transitions de clés :
- 01_CH_dd640f, Thème 1, femme, droitière, codage main droite, codeuse professionnelle
- 02_VT_dd640f, Thème 2, femme, droitière, codage main droite, codeuse professionnelle
- 03_AM_dd630f, Thème 3, femme, droitière, codage main droite, codeuse professionnelle
- 05_ML_gg540f, Thème 5, femme, gauchère, codage main gauche
- 09_LM_gd640f, Thème 9, femme, droitière, codage main gauche, codeuse professionnelle
Les fichiers (audios, vidéos, annotations) sont déposés sous les termes de la licence publique CC-By-NC-4.0. Ils peuvent être téléchargés à partir de la version 10 du dépôt https://www.ortolang.fr par tout membre d'un Etablissement Supérieur de la Recherche. Pour toute autre demande, envoyer un e-mail à brigitte.bigi[.at.]cnrs.fr.
Description des étapes réalisées pour obtenir les annotations
Annotations automatiques avec SPPAS
Le système de génération automatique des clés LfPC implémenté dans SPPAS a été utilisé pour générer automatiquement les annotations.
Ce système a utilisé les clés corrigées manuellement (c.f. WP1-L2) et a généré les moments supposés de transitions de clés. La figure ci-dessous illustre, entre-autre, ces entrées et sorties du système.
La figure illustre les lignes d'annotations temporelles suivantes :
- alignement temporel des phonèmes
- alignement temporel des mots
- segmentation en clé des phonèmes après correction manuelle
- code des clés après correction manuelle
- structure des clés après correction manuelle
- moments de transition des configurations de la main, générés automatiquement
- moments de transition des positions, générés automatiquement
Corrections manuelles avec l'éditeur de SPPAS
Pour corriger les lignes des annotations automatiques, il a fallu visionner les vidéos image-par-image (avec 60 images par seconde) en comparant les annotations des moments de mouvements obtenues automatiquement à celui qui est effectivement réalisé par le locuteur de chaque vidéo. Ce travail étant extrêmement fastidieux et extrêmement chronophage, il n'a pu être réalisé que sur une partie des données.
Cette annotation n'a été possible que grâce à l'utilisation de l'éditeur de SPPAS, dont un module a été spécifiquement développé à cette occasion (diffusé depuis la version 4.12). La figure suivante montre cette version, avec notamment une fenêtre qui contient 3 images consécutives de la vidéo ainsi que la ligne d'annotation qui est en cours d'analyse.
Limitations
Les annotations qui ont été produites n'ont pas été contre-codées, c'est-à-dire qu'elles n'ont pas été vérifiées par une seconde personne. Elles sont donc susceptibles de contenir des erreurs (oublis, fautes de frappes, imprécisions, etc) inhérentes à toute annotation manuelle.
Contributeurs
Annotation du corpus : Léa Delaporte (juillet/août 2024)
Développement logiciel : Audric Vachet, Brigitte Bigi (avril/août 2023)
À propos
- Rédaction du document : Brigitte Bigi
- Licence du document : GNU documentation libre - FDL 1.3
- URL de ce document : https://auto-cuedspeech.org/wp1l3.html
- Dernière mise à jour : octobre 2024