3.3. Présentation, évaluation et utilisation du logiciel.

A présent que les différentes fonctionnalités ont été introduites, nous allons examiner comment celles-ci s’organisent dans la structure globale du logiciel. Ce dernier a par ailleurs fait l’objet d’une procédure d’évaluation, dont les résultats sont également détaillés dans cette partie. Pour finir, nous décrivons un exemple d’utilisation des signes synthétiques, à savoir leur intégration dans l’application LAC présentant des corpus lexicaux.
 
 

3.3.1. Présentation du logiciel.

Dans cette partie est exposé le logiciel de synthèse que nous avons développé, d’abord de façon globale pour en appréhender l’organisation des composants essentiels. Y sont ensuite abordés de manière plus détaillée l’éditeur et son interface graphique, le module de visualisation 3D, et enfin le dictionnaire de signes.
 
 

3.3.1.1. Présentation générale.

Du point de vue de l’utilisateur, la synthèse de la phrase signée s’articule en trois étapes principales :

 
 
 
 

Figure 3.27 : Schéma synoptique du logiciel.

 
 
Comme il est explicité sur la figure 3.27, cette dernière phase déclenche l’évaluation de chacun des signes inclus dans la phrase, en lui fournissant si nécessaire la valeur des paramètres ou des flexions. En l’absence d’erreur dans la syntaxe et l’interprétation tant de la phrase que des différents signes, l’ensemble ordonné des structures hiérarchiques est alors produit. Celui-ci est transmis au module de synthèse graphique, qui le traduit en une collection d’images affichées en séquence à l’écran.
 
 Remarque : Dans l’évaluation du signe, les configurations manuelles sont considérées comme des primitives et, de même que les postures du bras aux différents points-clés de l’espace, sont utilisées directement sans être recalculées.
 
 

3.3.1.2. L'éditeur et son interface graphique.

Les outils de spécification de la phrase et du signe se présentent, dans leur forme de base, comme de simples éditeurs de texte dotés de menus permettant de lire et de sauvegarder leur contenu dans un fichier et offrant les commandes d’édition classiques (copier/couper/coller, annuler, ...), ainsi que d’un item pour en lancer l’évaluation.

La barre d’état affiche en outre divers messages à l’adresse de l’utilisateur. Elle permet de suivre la progression du calcul, et signale les éventuelles incorrections syntaxiques ainsi que les erreurs survenant lors de l’interprétation (messages inconnus, points de l’espace hors de portée, etc.). Les termes incriminés sont mis en évidence pour en faciliter la correction (figure 3.28).

ð
 

Figure 3.28 : Evaluation du signe et détection des erreurs.

 

 Afin de faciliter la tache d’édition et réduire les risques d’erreurs lors de l’évaluation de la partie manuelle du signe, nous avons développé une interface graphique qui en génère automatiquement le code descriptif. Celle-ci respecte évidemment la structure hiérarchique de spécification.

 

Elle se compose d’une première fenêtre (figure 3.29) permettant d’ajouter, de modifier ou de supprimer des macros-déplacements et les déplacements correspondants, ainsi que de définir les caractéristiques de chacun en termes de tenue et de répétition.

 

La définition proprement dite des déplacements est effectuée dans une suite de fenêtres enchaînées, similaires aux assistants que l’on trouve dans divers logiciels professionnels. Cela permet de progresser ou de revenir sur ses pas dans son travail (figure 3.30).

 

 
 

 Figure 3.29 : Fenêtre principale de l'interface graphique de l'édition de signes

 

Ainsi, la première étape consiste à choisir la structure de base du déplacement. En fonction de ce choix, l’utilisateur est alors invité à spécifier la ou les primitive(s) de déplacement, ceci à l’aide d’outils adaptés dans lesquels il peut visualiser l’effet de ses choix successifs sur la posture du signeur virtuel (voir figure 3.31).

Au cas où les deux articulateurs sont impliqués dans le signe, il convient également de préciser la relation unissant leurs déplacements respectifs (type et plan de symétrie), ou bien les deux primitives de déplacement s’il n’existe aucune relation.
 

 

Figure 3.30 : Spécification de la structure du déplacement.

 
 
 

 

Figure 3.31 : Spécification d’une primitive de déplacement

(spécification manuelle et mouvement).

 
 
 

Par une démarche progressive et logique, l’utilisateur spécifie aisément les différentes caractéristiques du signe. Le logiciel convertit ensuite la structure bâtie en mémoire par ce biais en sa représentation textuelle destinée à être insérée comme description de la partie manuelle du signe. Lors de l’évaluation, c’est exactement l’opération inverse qui est réalisée. Pour garantir cette correspondance biunivoque, un soin tout particulier a été porté lors de l’écriture des méthodes correspondantes.
 
 

3.3.1.3. Le module de visualisation 3D.

L’animation générée se compose d’une série d’images avec, pour chacune, les coordonnées spatiales des sommets de tous les polygones composant le signeur. Ce n’est qu’au moment de tracer effectivement ces figures que leurs points sont projetés sur le plan de vision, ce qui permet de changer si besoin l’angle de vue de la caméra pour mieux en apprécier tel ou tel détail.

 

Figure 3.32 : Fenêtre de visualisation de l’animation synthétique.

 

La fenêtre présentant les signes synthétiques (figure 3.32) offre cette possibilité sous forme de cadrans gradués (un pour l’azimut, un pour l’élévation et un pour la distance à la caméra). En outre, l’animation peut être rejouée, et son film rembobiné ou déroulé pas à pas grâce à une série de boutons rappelant ceux des appareils audiovisuels grand public.
 
 

3.3.1.4. Le dictionnaire de signes.

Les signes sont regroupés dans un dictionnaire visant à en faciliter la gestion. La structure de celui-ci est classique, avec une clé alphabétique à laquelle est associé un ensemble de valeurs. La clé est constituée du nom complet du signe (y compris, le cas échéant, les caractères spéciaux ‘_’, ‘-’ et ‘>’) ; elle identifie chaque entrée de manière unique et n’accepte donc pas les doublons. Les champs associés sont présentés dans le tableau 3.9 sur un exemple. Il s’agit notamment d’une liste (champ synonymes) de traductions françaises acceptables outre la clé, et de la technique de localisation à utiliser préférentiellement pour ce signe.
 
Ces différents champs sont pris en compte lors de l’évaluation de la phrase signée, ce qui permet par exemple d’utiliser indifféremment l’un des synonymes, ou de connaître les flexions admises pour un signe donné.


 
Clé 'cheminée'
Code IVT 38
Thème(s) 1 [La maison]
Description textuelle
'Sign %Cheminée .
Manual:
(Shift from:(HandSpec config:#C point:#ThumbRoot at: [Shoulders¶ 
FrontProx Sagittal] ori: [f f & u])
to: [Shoulders FrontProx IpsiSide]
move: #Linear
weakMove: #Symmetrical),
(Shift from: ( HandSpec ori: [f f & i u] )
to: (HandSpec at:[MidTorso FrontProx IpsiSide] ori:[f f & i])
move: #Linear
weakMove: #Symmetrical).'
Synonymes #() [Aucun]
Précisions sémantiques nil [Non renseigné]
Classe de lexème 1 [Substantif]
Technique de localisation 1 [Déplacement du signe]
Flexion(s) possible(s) #( #(Grande Large Big) )
Traduction(s) anglaise(s) #(Chimney Fireplace)
Remarques nil [Non renseigné]
 

Tableau 3.9 : L’entrée cheminée du dictionnaire de signes.

 
 

Remarque : Les traductions en anglais présentes dans le dictionnaire ne se rapportent pas au signe, mais à son (ses) équivalent(s) en français. Il ne s’agit là que d’un artifice pour présenter ces travaux sur la LSF dans la langue de Shakespeare, indépendamment de la forme réelle en ASL (et a fortiori en langue des signes britannique).


 
 Le dictionnaire est lui aussi doté d’une interface graphique, dont l’un des composants permet l’édition d’une entrée (en proposant les valeurs possibles pour les différents champs sous forme de listes déroulantes), et l’autre facilite la sélection d’un signe dans la base de données. Pour cela, l’utilisateur a le choix entre une recherche alphabétique directe, ou selon le code, le thème ou la classe du lexème (figure 3.33).    
   

 Figure 3.33 : Sélection d'un signe

Le dictionnaire est stocké à la fois en mémoire volatile et sur le disque rigide pour assurer la pérennité des données. Il lui correspond un fichier unique qui est, comme dans toute base de données correctement conçue, remis à jour dès qu’une description de signe est validée. On évite ainsi au maximum la perte d’information en cas d’incident technique. Ce mécanisme de sauvegarde est illustré sur la figure 3.34, qui reprend l’organisation globale de l’interface graphique du système.
 

 

Figure 3.34 : Interface graphique du logiciel et relations avec le dictionnaire de signes.

 
 
 Pour l’heure, la base contient une bonne centaine de signes sur lesquels nous nous sommes appuyés pour étayer notre propos tout au long de ce mémoire. A titre indicatif, le fichier associé occupe une taille de 30 kilo-octets environ, ce qui est conforme avec notre objectif de compacité des données à transmettre. Nous revenons sur ces considérations dans la conclusion de ce mémoire ; elles sont en effet de première importance quant aux perspectives d’utilisation du système.
 
 

3.3.2. Evaluation des signes synthétiques et application.
 
 

Dès lors que la génération des signes synthétiques est parvenue à un niveau suffisant d’élaboration, nous avons souhaité soumettre les animations produites à une procédure de validation par des personnes maîtrisant la langue des signes.

Cette partie présente d’abord le protocole mis sur pied à cette fin, puis les enseignements que les résultats ont permis d’en tirer. Pour finir, nous exposons, à travers l’intégration au logiciel LAC, un exemple concret d’utilisation qui illustre parfaitement tout le parti à tirer d’un tel système de synthèse.
 
 

3.3.2.1. Mode opératoire.

Le protocole expérimental d’évaluation a été conçu de façon à pouvoir effectuer la validation à distance et de manière autonome. Pour cela, nous avons tiré profit des capacités d’HTML à inclure différents types de média (textes, images, mais aussi vidéos grâce à l’incrustation d’objets).

Seule l’évaluation des signes en forme de citation (i.e. non fléchis, comme dans un dictionnaire) a été ainsi réalisée. Elle se présente comme 5 pages de 10 signes, la première étant introduite par quelques explications sur leur utilisation. Les résultats (i.e. les données contenues dans les champs) sont transmis par courrier électronique au moyen d’un bouton d’envoi à la fin de chacun des 5 formulaires.

 

Figure 3.35 : Evaluation d’un signe via Internet.

   

Le sujet est invité, pour chaque signe, à inscrire le sens qu’il a perçu (cf. figure 3.35) et à indiquer le nombre de fois où il a visualisé l’animation (ce qui donne une indication quant à l’aisance de compréhension). Il peut ensuite découvrir la signification du signe et voir si elle coïncide avec sa propre réponse. Nous lui demandons, si l’identification n’est pas sémantiquement proche du sens théorique, d’essayer de préciser la ou les raison(s) de cette différence. Plusieurs facteurs peuvent a priori intervenir :

Si l’utilisateur ne reconnaît dans aucun des points ci-dessus une raison valable pour laquelle il n’aurait pas identifié le signe, il lui est tout de même demandé d’avancer une autre explication.
 
 

3.3.2.2. Résultats et conclusions de l’évaluation.

Pour l’évaluation, nous avons sollicité la collaboration de plusieurs structures en relation directe avec les sourds :

Plusieurs membres de chaque structure ont visualisé globalement les signes synthétiques. En soulignant tout l’intérêt qu’ils portaient à ce projet, ils nous ont adressé d’utiles remarques que nous souhaitons relater ici. Pour le moment, ont utilisé intégralement le module d’évaluation des signes Françoise Casas[42], Sandrine Trottin[43], Frédéric Harlez, Sandra Tellier et Nathalie Cruaud[44], ainsi que quatre jeunes déficients auditifs de Pont-à-Marcq. Ce sont leurs résultats (consignés dans le tableau 3.10), que corroborent largement les observations des autres sourds rencontrés, dont nous allons tirer les principaux enseignements.

Deux remarques préalables s’imposent :

 
 

Signes corrects

Signes incorrects[45]

Corres-pondance exacte

Réponse proche[46]

Signe inconnu ou difficile à identifier hors contexte

Entrée signée différemment

Caract. mal perceptibles

Problème de perception de la profondeur

Config. manuelle

Mvt.

Expr. faciale
Test 1

40 (80%)

10 (20 %)

36

4

4

1

3

2

1

1
Test 2

34 (68%)

16 (32 %)

31

3

10

1

4

0

0

1
Test 3

31 (62%)

19 (38 %)

30

1

3

7

2

5

0

2
Tests 
4-7[47]

29 (58%)

21 (42 %)

27

2

5

10

2

2

0

2
Test 8

34 (68%)

16 (32 %)

32

2

2

5

5

2

0

3
Test 9

41 (82%)

9 (18 %)

39

2

6

0

2

1

0

1

Tableau 3.10: Principaux résultats de l’évaluation.

 
 

Il ressort de cette évaluation que plus des deux tiers à 80% des signes, selon l’informateur, ont été correctement interprétés. De plus, parmi les réponses inexactes, un grand nombre s’explique par la méconnaissance de la forme proposée ; très peu sont réellement dues aux modes mêmes de représentation ou de génération du mouvement (autour de 5 seulement, soit un dixième du total). Les raisons majoritairement incriminées ont trait au discernement des caractéristiques manuelles, et tout particulièrement à celle des configurations (comme le remarquent l’ensemble des personnes ayant visualisé les signes). L’amélioration du rendu des formes de la main doit donc être une priorité dans les travaux à venir. De même que la perception des autres segments et de leur profondeur, le problème de l’identification des configurations manuelles trouverait très certainement une réponse adaptée dans une modélisation volumique affinée du signeur (sous forme de surface maillée par exemple).
 

Pour détailler quelque peu les riches remarques fournies, on peut évoquer les points suivants :

 

Ces quelques résultats, quoiqu’encourageants, ont encore besoin d’être étayés et la collaboration engagée avec les associations citées ci-dessus s’inscrit notamment dans cette perspective. A très court terme, nous devrions être en mesure de préciser ces observations, dans le but de corriger les imperfections du système de synthèse et d’en combler les lacunes principales. Dans un second temps, nous souhaitons mettre le logiciel dans son ensemble à la disposition de l’utilisateur, de façon à perfectionner l’interface d’édition.
 
 

3.3.2.3. Application : inclusion au logiciel LAC.

Pour clore cette partie, nous allons exposer brièvement comment le générateur de signes synthétiques a été mis à profit dans le logiciel LAC, évoqué au premier chapitre. Une des motivations pour l’obtention de signes virtuels était de résoudre le problème posé par la création des vidéos, ainsi que le stockage des volumineux fichiers correspondants. Le système que nous avons bâti apporte une solution concrète à ces écueils, grâce à son interface graphique permettant une édition aisée des signes, et à la concision de l’information ainsi générée. La production fluide d’une phrase quelconque est également possible, pour peu que l’on ait créé ses signes constitutifs au préalable.
 
Le générateur de signes a été d’abord connecté au travail de V. Vanneste sur l’analyse syntaxique de la phrase française. Cet ensemble a ensuite été intégré au logiciel LAC [CAN 99], pour pouvoir y traduire de façon automatique non seulement les mots et thèmes du corpus, mais encore les phrases illustratives présentées pour chacun. Ces dernières se limitent pour l’heure à quelques structures, car la grammaire sur laquelle est basée l’analyse syntaxique est limitée ; on ne dispose de surcroît d’aucun analyseur sémantique. Ce prototype de système de traduction a néanmoins permis d’en démontrer la faisabilité, à travers un petit corpus exemple ayant trait aux pièces de la maison. Celui-ci a été choisi car nous disposions déjà, dans le dictionnaire, de bon nombre de signes relatifs à ce thème.
 
 
 

 

Figure 3.36 : Intégration du module de génération

de signes synthétiques au logiciel LAC.

   
Par rapport à la version originale de LAC, l’interface a été légèrement retouchée pour refléter les nouvelles fonctionnalités (voir figure 3.36). La fenêtre vidéo a été conservée pour présenter l’illustration du mot sélectionné, ainsi que son équivalent en LPC. Il s’y substitue, pour les signes en LSF, une fenêtre graphique dans laquelle apparaît le signeur virtuel, ainsi que les boutons permettant d’en contrôler l’animation et la direction de la caméra. Une zone de texte permettant de visualiser la forme intermédiaire de la phrase à signer a également été ajoutée, de même qu’un bouton pour déclencher la traduction (celle-ci nécessite en effet quelques secondes).
 
 
 
Conclusion.
 
La finesse avec laquelle les composantes du signe ont été spécifiées, ainsi que la grande variété de processus flexionnels étudiés et implantés, ont permis de bâtir un système étendu de synthèse des phrases signées. Doté d’un environnement graphique, il offre une édition aisée de la partie manuelle du signe; grâce à une analyse syntaxique de la description, et à l’interception des erreurs à l’exécution, il constitue un ensemble robuste.
 
Le cahier des charges que nous nous étions fixé a bien été respecté. En proposant une description textuelle du signe, nous avons rempli les objectifs de lisibilité et de compacité. Parce que la description proposée est basée sur les gestèmes validés par de nombreuses études linguistiques, elle répond aussi à l’exigence de généricité. Pour la même raison, et parce que nous nous sommes aussi attachés à reproduire le mouvement avec un maximum de réalisme, le potentiel signifiant est transmis de façon très satisfaisante.
 
La procédure d’évaluation a en effet mis en lumière l’intérêt des résultats obtenus, tout en en soulignant les limites et en fournissant de nouvelles voies d’investigations. Le signeur développé constitue en fait une étape dans la génération d’énoncés en langue des signes. De nombreuses pistes restent à explorer pour s’approcher au mieux des formes réelles produites par les sourds ou leurs interprètes. On songe entre autres à l’amélioration de la représentation de l’avatar lui-même, ou à la transcription du prototype dans un langage informatique compilé. La recherche en reconnaissance des gestes, qui a connu un essor remarquable ces dernières années, devrait également pouvoir être mise à profit pour affiner la synthèse du mouvement.

Conclusion générale