APPROCHE BIMODALE DU TRAITEMENT AUTOMATIQUE DE LA PAROLE : APPLICATION A LA RECONNAISSANCE DU MESSAGE ET DU LOCUTEUR

Résumé : Ces travaux constituent une étude sur la possibilité d'intégrer les informations visuelles constituées par le mouvement et la forme des lèvres dans les systèmes de traitement automatique de la parole. Les différentes approches et méthodes relatives à cette problématique sont abordées d'une façon théorique et expérimentale. Une description technique des phénomènes d'asynchronie (ou d'indépendance temporelle) présents dans cette source d'information bimodale est tout d'abord établie. Différentes manières de gérer ces phénomènes dans les systèmes de reconnaissance de la parole sont étudiées et comparées. Nous définissons alors une nouvelle approche fondée sur un produit d'automates à transitions valuées. En outre, la combinaison de deux modalités, qui peuvent avoir des niveaux de fiabilité totalement différents, pose un certain nombre de problèmes relatifs à la pondération. Nous étudions donc les divers critères et méthodes permettant de trouver une pondération optimale. Il est également fait état de différentes expérimentations effectuées dans le domaine du traitement de la parole acoustico-labiale. Nos propres expérimentations dans le domaine de la reconnaissance de la parole bimodale et dans le projet AMIBE ( financé par le CNRS ) sont décrites. Les résultats des nouvelles méthodes développées dans ces travaux sont également présentées. Enfin, nous abordons également le domaine de la vérification d'identité acoustico-labiale. Nous présentons les résultats obtenus par le système que avons réalisé en collaboration avec l'IDIAP dans le cadre du projet européen M2VTS (programme ACTS). Ces expérimentations furent parmi les toutes premières réalisées dans le domaine de la reconnaissance et vérification acoustico-labiale du locuteur.
Liste complète des métadonnées

Littérature citée [287 références]  Voir  Masquer  Télécharger

https://hal-univ-avignon.archives-ouvertes.fr/tel-02152912
Contributeur : Pierre Jourlin <>
Soumis le : mardi 11 juin 2019 - 17:48:08
Dernière modification le : samedi 15 juin 2019 - 01:24:36

Fichier

thesePJ98.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-02152912, version 1

Collections

Citation

Pierre Jourlin. APPROCHE BIMODALE DU TRAITEMENT AUTOMATIQUE DE LA PAROLE : APPLICATION A LA RECONNAISSANCE DU MESSAGE ET DU LOCUTEUR. Informatique et langage [cs.CL]. Université d'Avignon et des Pays de Vaucluse, 1998. Français. ⟨tel-02152912⟩

Partager

Métriques

Consultations de la notice

14

Téléchargements de fichiers

3