Conclusion et perspectives

 

 

1. Bilan.

 

Le travail exposé dans ce mémoire s’inscrit dans le cadre de l’utilisation du geste de communication dans le dialogue homme-machine. Pour développer une telle interface conversationnelle, il est nécessaire de disposer à la fois d’un module de reconnaissance (gestes en entrée) et d’un système de synthèse (en sortie). C’est sur ce dernier point que s’est focalisé notre intérêt, et tout particulièrement sur les gestes de communication les plus élaborés, à savoir ceux de la langue des signes. Par la diversité – et parfois la complexité – des mouvements mis en jeu, ils constituent un sujet d’étude privilégié, d’autant que les expressions faciales sont, assurément plus encore que dans la gesticulation, d’une richesse inouïe, tant au niveau lexical que grammatical.

 

A partir d’une solide base regroupant des études linguistiques fondamentales sur la langue des signes, et en examinant bon nombre de travaux se rapprochant de notre thème, nous avons proposé un système de description du signe s’appuyant précisément sur les quatre types de phonèmes gestuels universellement reconnus à l’heure actuelle. Une structure hiérarchique a ainsi été bâtie, rigoureusement équivalente à une grammaire du signe, en respectant les traits linguistiquement pertinents, et en les complétant par des caractéristiques requises par notre objectif de synthèse.

Parmi ces caractéristiques originales, on peut notamment retenir :

 

 

L’exigence de généricité qui a guidé cette recherche nous a amenés à proposer une décomposition des configurations manuelles en trois niveaux, qui offrent une combinatoire élevée tout en garantissant des formes réalistes. Ces dernières peuvent ensuite être utilisées en tant que primitives dans la spécification des postures de la main. Comme pour l’ensemble des caractéristiques incluses dans la grammaire du signe, les différentes valeurs retenues sont issues non seulement de l’examen minutieux d’un corpus conséquent de signes français, mais encore de multiples études portant sur diverses langues signées ayant cours de par le monde.

 

Dans cette thèse, nous avons dépassé le cadre des simples items lexicaux, et largement abordé les processus grammaticaux très particuliers des langues visuo-gestuelles. Un système permettant de prendre ceux-ci en compte a été élaboré, qui consiste à doter les signes de paramètres. C’est ainsi qu’ont pu être modélisés des phénomènes tels que la localisation et l’accord pronominal des verbes directionnels, ou d’autres flexions de nature spatiale ou dynamique. Les expressions non-manuelles, qui revêtent une importance toute particulière au niveau du visage, n’ont pas été oubliées.

 

La représentation notationnelle structurée du signe a été implantée sur une machine de type PC standard, tout comme l’intégralité des mécanismes décrits précédemment. Il en a résulté un prototype avancé de signeur virtuel, capable de produire une grande variété de signes à partir de leur description textuelle. Grâce à une modélisation de la dynamique des diverses trajectoires, issue d’une étude spécifique consistant en un suivi du poignet par vision, le mouvement lui aussi reproduit aussi fidèlement que possible son équivalent naturel. Le système prend en charge de manière automatique aussi bien la génération du mouvement que le calcul en cinématique inverse du positionnement et de l’orientation des articulateurs. Aucune spécification de bas niveau n’est donc requise de l’utilisateur.

 

La mise en œuvre du paramétrage permet désormais la génération de phrases signées complètes, incluant le marquage du type de clause et l’accord pronominal avec les référents localisés sur la scène du signeur. Au niveau de la phrase comme du signe, une bonne lisibilité de la description est assurée, tout en respectant l’exigence de compacité.

Pour faciliter encore l’édition, une interface graphique complète a enfin été développée. Elle permet de sélectionner visuellement les composantes du signe en ayant un aperçu direct des choix effectués sur la posture de l’avatar. Le signe ainsi spécifié est stocké dans un dictionnaire adapté où chaque entrée est dotée de caractéristiques linguistiques propres.

 

L’animation elle-même présente certes encore quelques limites inhérentes au langage de prototypage adopté, telles qu’une succession saccadée des images due au rafraîchissement de la zone graphique. C’est pourquoi l’évaluation des signes a dû être menée sur des vidéos créées en assemblant les images de synthèse générées par le système. Ces animations représentent néanmoins ce que l’on peut attendre à très court terme du moteur de génération – comme il est expliqué un peu plus loin -, et la validation d’une immense majorité d’entre elles par des personnes maîtrisant la langue des signes est autant d’encouragements à poursuivre nos efforts dans cette voie.

 

 

2. Perspectives.

 

Les perspectives d’évolution du système rayonnent dans plusieurs directions. En voici les principales :

 

 

 

 

 

 

Diverses applications sont d’ores et déjà envisageables. Nous avons décrit celle d’un logiciel multimédia de présentation de corpus lexicaux ; tout système nécessitant l’affichage de signes sur un écran est en fait susceptible de tirer profit de leur génération automatique à partir d’une représentation notationnelle, en particulier dans le cadre de l’enseignement assisté par ordinateur (E.A.O.) : dictionnaires informatisés, tutoriels de langue des signes, etc.

Grâce au faible volume d’information de codage nécessaire, les mêmes idées sont directement transposables à la diffusion de signes via un réseau, à commencer par Internet. On peut aisément concevoir de transmettre la phrase seule, ou accompagnée de la description de chaque signe (le client devrait alors disposer du système de génération). Une autre solution consiste à effectuer le maximum de calculs du côté serveur, et à ne communiquer qu’une information réduite (par exemple les angles articulaires) à un petit module de synthèse installé chez le client.

Dans tous les cas, le volume de données est bien inférieur à celui requis par les vidéos. Un rapide calcul, basé sur la phrase exemple utilisée pour le suivi de mouvement, a montré que le rapport est proche de un pour mille : la séquence compressée (formée de 187 images de taille 192x143 en 24 bits) nécessite 3,5 Mo de mémoire pour 8 secondes, alors que les mêmes signes occupent moins de 4 ko dans le dictionnaire (à raison de 0,5 ko par signe, description et autres attributs compris). En considérant ces moyennes, le stockage d'une application - telle que LAC - sur CD-ROM n'autorise guère plus de 20 minutes de vidéos, tandis que celui de signes synthétiques est pour ainsi dire illimité et permet d'envisager des corpus autrement plus conséquents.

 

Mais l’application par excellence réside naturellement dans un traducteur global d’une phrase française en signes. Un embryon d’un tel système a été proposé, mais nous avons vu que la tâche reste de taille. Sans analyseur sémantique, il n’est concevable de traduire que des phrases relativement simples, sauf à compliquer très sensiblement la grammaire sur laquelle est basée l’analyseur syntaxique [LIG 94]. Néanmoins, les traducteurs entre langues naturelles ont connu de telles améliorations ces dernières années que tous les espoirs sont permis. La perspective de disposer d’un système complet et fiable de traduction permet d’envisager des réalisations qui pourraient accélérer le rapprochement entre le monde des sourds et celui des entendants. On songe notamment à la traduction de pages web ou de livres. Le sous-titrage automatique d'émissions orales en langue des signes via le canal télétexte serait également une piste intéressante à explorer, le système de génération étant particulièrement adapté aux télétransmissions à faible débit. Toutes ces applications sont à même de favoriser l’accès des sourds à l’information en la présentant dans leur langue naturelle.