Automatic Cued Speech / LfPC automatisée

La réalité augmentée au service des personnes sourdes

Voir les sons avec la LfPC...

Qu'est ce que le cued speech / La LfPC ?

Le « Cued Speech » (Cornett, 1967), ou Langue française Parlée Complétée (LfPC), est un code pour représenter chaque son d'une langue donnée avec une forme de main pour une consonne et une position autour du visage pour une voyelle. La combinaison est appelée « clé ».

Lorsque les sons se ressemblent sur les lèvres, ils sont codés différemment ; leur combinaison implique un percept unique de ce qui est prononcé.

Grâce à ce code, la lecture labiale est améliorée car les clés permettent de représenter tous les phonèmes, mais les phonèmes avec le même mouvement labial ont des clés différentes.

Illustration des positions et formes de mains

Description du projet :

Résumé

En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré.

Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Nos objectifs

Ce projet se donne deux objectifs majeurs : le premier est d’élaborer un système d’intelligence artificielle (I.A.) capable de coder automatiquement en « Cued Speech », le second est de créer des supports pédagogiques codés.

Un logiciel codeur

Le projet s’articule autour de l’élaboration d’un système d’intelligence artificielle (I.A.) capable de coder automatiquement en « Cued Speech » (CS), pour le français et pour l’anglais américain (le CS américain diffère du CS britannique). Ce système reposera sur l’utilisation du logiciel SPPAS - the automatic annotation and analysis of speech, un logiciel interdisciplinaire pour le traitement automatique de la parole (I.A. et linguistique).

Le système I.A. utilisera des fonctionnalités existantes de SPPAS pour le traitement de l’audio et de la vidéo. Pour ce projet, nous y intégrerons d’une part la génération automatique du codage en CS sous la forme d’un nouveau module d’annotation automatique, d’autre part un plugin pour la création d’une vidéo en réalité augmentée (figure ci-après). Nous produirons ainsi un logiciel codeur en LfPC / Cued Speech.

Des vidéos codées

Avec un tel système de codage automatique, toutes sortes de vidéos codées peuvent être élaborées et diffusées pour tous les types d’utilisations. Des listes de mots, et des textes sur différents thèmes seront lus par un acteur, afin de collecter des vidéos. Une fois codées automatiquement par le logiciel, évaluées et sélectionnées, les vidéos seront assemblées pour créer des capsules pédagogiques destinées au grand public, aux débutants apprenant le code et aux enfants sourds.

Disposer d’outils permettant de s’entraîner à la pratique du code constitue un bénéfice important pour les parents d’enfants sourds, ainsi que pour les centres d'éducation spécialisée, par exemple. Cela permettra entre autres de réduire les inégalités d’accès à la LfPC sur le territoire, d’apporter une aide à l’acquisition de la langue orale par les enfants sourds, d’améliorer la communication entre les personnes sourdes ou malentendantes et les membres de leur famille entendants, ou d’aider à développer des compétences de lecture labiale.

Ethique

Ce projet respectera les principes FAIR (« F » pour facile à trouver, « A » pour accessible, « I » pour interopérable, « R » pour réutilisable) et tous les critères de la science ouverte.

Le Comité pour la science ouverte assure la mise en œuvre de la politique nationale de science ouverte.
Tous les codes sources sont distribués selon les termes de la licence libre GNU AGPL v3.

Quelques exemples...

Ci-dessous, se trouvent des vidéo de démonstration du résultat obtenu avec le codage automatique.

En amont du projet

En amont du projet, nous avions développé une preuve de concept (PoC). Cette PoC permettait de générer automatiquement la vidéo suivante (et seulement celle-ci) :

Preuve de concept réalisée en 2022 avec le logiciel SPPAS - version 4.2.
Transcription de la vidéo Cette vidéo est une démonstration de la génération automatique des clés LPC par le logiciel SPPAS.
Audio de la vidéo

La version 1 du système

En juillet 2024; la première version du système de génération automatique du codage est proposée dans le logiciel SPPAS 4.22. Elle permet de générer automatiquement des vidéos codées à partir des trois fichiers suivants :

Plusieurs options sont disponibles, notamment car ce système propose différents modèles pour placer la main.

Deux vidéos réalisées en 07/2024 avec le logiciel SPPAS - version 4.22.
La vidéo de gauche montre la vidéo originale entière avec l'ajout de photos de mains et un filtre d'image permettant de faire ressortir le point cible (avec un cercle en orange) et la direction de la main (avec une ligne noire). La vidéo de droite montre la vidéo découpée au format selfie avec une main codeuse dessinée et coloriée en jaune pâle.
Transcription de la vidéo Cette vidéo est une démonstration de la génération automatique des clés LPC par le logiciel SPPAS.
Audio de la vidéo

Comment procéder pour coder automatiquement ?

La description des différentes étapes pour coder une vidéo sera disponible à l'issue du projet. Nous en présentons ci-après, une description simplifiée.

Etapes pour produire une vidéo codée en LfPC
Vue simplifiée des étapes pour produire une vidéo codée en LfPC