Automatic Cued Speech / LfPC automatisée

La réalité augmentée au service des personnes sourdes

Institutions

Responsable du projet : Laboratoire Parole et Langage

Description

Le Laboratoire Parole et Langage ( Aix-Marseille Université , CNRS UMR 7309 ) a pour objectif principal de mieux comprendre les processus mis en jeu dans la production, la perception, et la compréhension du langage oral et du langage écrit, en situation naturelle d'occurrence comme en laboratoire. Ces recherches sont prioritairement menées dans un cadre expérimental et font appel à une vaste panoplie d'instruments permettant le recueil et l’analyse de données cérébrales, physiologiques, articulatoires, acoustiques, visuelles, et perceptives, d'une grande variété. Ces investigations expérimentales sont combinées à des études quantitatives menées sur de vastes corpus de données textuelles ou de données orales multimodales. Le LPL s’est forgé une identité scientifique dont l'interdisciplinarité constitue un élément clé.

Nous utilisons généralement plusieurs modalités de communication comme la parole, les gestes, la posture, le regard, les expressions faciales, mais nous connaissons encore de manière incomplète les mécanismes qui sous-tendent cette multimodalité. La linguistique de corpus permet d'appréhender ces phénomènes, en particulier par l'analyse des annotations des corpus. Elle vise à fournir des descriptions des langues naturelles et de leurs variantes.

Rôle dans le projet

Le rôle du LPL est de développer le système I.A. : recueil, analyse et modélisation de données codées par des codeurs, système de prédiction des clés et de la trajectoire de la main. Il contribuera également au choix des supports textuels qui seront lus, filmés puis codés.

Le 5 avenue Pasteur
Aix-en-Provence
 Centre d’Expérimentation de la Parole , hébergé et géré au LPL, contribuera à la collecte et à l’enrichissement des données audio-vidéo collectées.

Collaborateurs

Association Datha

Datha est une association de parents d'enfants sourds et d'amis de personnes sourdes. Elle apporte une aide technologique en réalisant des outils, des supports adaptés aux enfants sourds et collabore à des événements contribuant à l’accessibilité des enfants et des adultes sourds. Datha est partenaire de l’ALPC - Association nationale pour la promotion et le développement de la LfPC .

Datha apportera son expertise du codage dans la réalisation du système I.A. pour le français, et contribuera à l’élaboration des données audio-vidéo pour la création des supports applicatifs et à leur conception.

Académie Internationale Soutenant les Adaptations du « Cued »

L’AISAC - Académie Internationale Soutenant les Adaptations du « Cued », supervise les adaptations du Cued Speech aux langues du monde, étudie et suit l’utilisation du Cued Speech dans le monde entier, etc. L’AISAC participera à l’adaptation du système à la variante américaine de la langue anglaise, notamment sur la question de la génération des clés à partir des phonèmes et contribuera à la création des données audio-vidéo d’américain.

Membres

Membres permanents

Membres du Laboratoire Parole et Langage

www lpl

En résumé...

  • Diplômée d'une thèse de doctorat en informatique (sept. 1997 - sept. 2000), Université d’Avignon.
  • Chargée de recherche CNRS
  • Spécialité : Informatique (Intelligence Artificielle)
  • Thématique : Traitement automatique de la parole, des corpus multimodaux, et multilinguisme
Toutes ses recherches depuis 2011, sont implémentées dans le logiciel libre SPPAS.

En savoir plus :

Brigitte Bigi (porteur), chargée de recherche CNRS depuis 2002, est informaticienne, spécialisée à la fois en I.A. dans le sous-domaine de la linguistique computationnelle appliquée, et en linguistique de corpus. Depuis 2012, elle diffuse tous ses résultats de recherche via le logiciel SPPAS - the automatic annotation and analysis of speech. Ce logiciel répond à tous les critères de l’open science : il a reçu un Accessit du Prix Spécial du Jury au concours Science Ouverte du logiciel libre de la recherche (2022), organisé par le COSO - COmité pour la Science Ouverte (https://www.ouvrirlascience.fr) et décerné par le MESRI – Ministère de l’Enseignement Supérieur, de la Recherche et de l’Innovation.

Thématiques de recherche :

La réponse scientifique privilégiée des systèmes prédictifs qu’elle propose et qui sont mis en œuvre dans SPPAS se situe dans l’approche I.A. symbolique, dans l’approche I.A. connexionniste, ainsi que dans des solutions hybrides, selon la problématique qui est abordée. L’I.A. symbolique s’appuie sur l’exploitation de connaissances existantes pour résoudre des problèmes. Ces approches offrent l’avantage d’être documentables et prouvables. L’I.A. connexionniste utilise des méthodes basées sur l’observation et l’exploitation de gros volumes de données et sur des méthodes statistiques (machine learning). Les approches connexionnistes sont empiriques et pas forcément démontrables.

En linguistique de corpus, en particulier lorsqu'il s'agit de traiter des données orales, la démarche du chercheur consiste à collecter des données (dans le cas présent, des enregistrements audio et vidéo), à les annoter, c'est-à-dire à apporter des enrichissements tels que la transcription orthographique ou phonétique, puis à analyser ces annotations.

Dans ce projet, elle exerce un rôle de gestionnaire : budget, recrutement, organisation de réunions, etc. Elle est également responsable d’une grande partie des recherches liées au codeur automatique (WP1, WP2, WP3, WP5), chargée de l'intégration dans SPPAS et de la diffusion des résultats.

www lpl

Michel Pitermann est chargé de recherche CNRS, docteur en physique spécialisé en perception audiovisuelle. Il a également travaillé pendant des années dans la production de la parole et la modélisation biomécanique du visage. Il a développé des outils statistiques pour analyser des trajectoires 3D de points clés dans l’espace pour le développement de son modèle de visage.

Sa contribution au projet consiste à analyser et à modéliser les trajectoires de points clés des mains par rapport aux points détectés du visage de vrais locuteurs. Le but est d’améliorer le naturel des mouvements synthétiques des parties du corps correspondantes (main, avant-bras) et leur synchronisation avec la parole. Il est responsable du WP4.

www lpl

Núria Gala est enseignante-chercheur en sciences du langage à l’Université d’Aix-Marseille (AMU) depuis 2004, habilitée à diriger des recherches en 2015. Elle a été directrice du Service universitaire de français langue étrangère d’Aix Marseille Université (AMU, 2016-2020) et actuellement elle est directrice du département des Sciences du Langage (2021 - 2023) et membre élue du Comité de la Recherche de la faculté Arts Lettres et SHS. Dans ses travaux de recherche, elle s’intéresse aux technologies du langage et aux apports des traitements automatiques dans des domaines liés au lexique (la lexicographie computationnelle, l’apprentissage du vocabulaire et l’aide à la lecture). Depuis 2012, elle étudie la lisibilité et la complexité linguistique et participe à l’élaboration d’outils et de ressources pour la simplification automatique de textes, dans le but de fournir des aides à la lecture et à l’apprentissage du vocabulaire à des enfants en difficulté.

Elle était porteur du projet ANR ALECTOR (ANR-16-CE28-0005) et apportera son expertise dans le choix des textes des capsules (WP6).

Page professionnelle LPL

Carine André (Assistante Ingénieure, CNRS) est la référente du service audiovisuel au LPL (Centre Expérimentale sur la Parole, CEP). Elle soutient les chercheurs dans leurs besoins d’enregistrements de données dans des environnements expérimentaux et écologiques.

Membres de l'association Datha

Présidente de Datha et administratrice de l'ALPC, parent de deux enfants sourds, ayant exercé la fonction de codeuse LfPC et à l'origine de plusieurs projets* autour de la LfPC. Son apport concerne l'expertise de la LfPC en codage et en décodage. Dans le cadre du projet, elle participera à l'élaboration des règles d'automatisation du code LfPC, à la réalisation des supports codés. Elle est responsable du WP6.

Administrateur de Datha et de l’ALPC. Son apport est l'expertise de la LfPC en codage et en décodage. Dans le cadre du projet, il participera à l'élaboration des règles d'automatisation du code LfPC et à la réalisation des supports codés.

Membre de Datha. Expert en conception/conceptualisation de systèmes.

Membres de l'association AISAC

Enseignant d'anglais à l'Éducation nationale (retraité) et parents de deux jeunes sourds. Membre de l’AISAC, administrateur de l'ALPC, auteur de documents de référence sur l'acquisition de la langue anglaise par les jeunes sourds francophones, inventeur d'une méthode d'apprentissage du Cued Speech utilisée pour Happy Cues. Son apport est l'expertise du Cued Speech en codage et en décodage, il participera aussi à l'élaboration des règles d'automatisation du Cued Speech américain.

Président de l’AISAC, phonéticien, orthophoniste, enseignant. Dans le cadre du projet, son apport est l'expertise du codage et du décodage en Cued Speech américain et l'aide à l'élaboration du corpus codé en Cued speech.

Autres membres

Stagiaire de deuxième année B.U.T. Informatique, Aix-en-Provence, d'avril 2023 à juin 2023, WP6.

  • Création du site web du projet
  • Accessibilité du site web de SPPAS

Stagiaire de deuxième année B.U.T. Informatique, Aix-en-Provence, d'avril 2023 à juin 2023, WP5.

  • Création d'un module d'ajout d'une main codeuse dans une vidéo
  • Interface utilisateur

Stagiaire de deuxième année B.U.T. Informatique, Aix-en-Provence, d'avril 2023 à juin 2023, WP1. Embauché en CDD en juillet 2023.

  • Adaptation de l'outil de visualisation des annotations de SPPAS : extension des possibilités de visualisation des vidéos et de leur annotation,
  • Annotation des transitions de clés d'une locutrice du corpus CLeLfPC.

Stagiaire de licence 3 Sciences du Langage en juillet 2023, supervisée par N. Gala sur le sujet "Annotation et analyse de corpus phonétisés en syllabes en vue de la création de supports en langue française parlée complétée (LfPC)"

Embauchée en CDD en août 2023.

  • Annotations du corpus CLeLfPC : transcription orthographique (audio), alignement phonétique, (audio), clés réalisées (vidéo).