Les interactions multimodales dans le contexte de l’internet des objets - TEL - Thèses en ligne Access content directly
Theses Year : 2023

Multimodal interactions in the context of the Internet of Things

Les interactions multimodales dans le contexte de l’internet des objets


MIBS are multimodal systems using connected objects as interaction interfaces. Methods and tools are needed to facilitate the adaptation of these systems to the specificities of the execution environments. From one environment to another, the connected objects are different, placed in different places, with variable availability. A state of the art made it possible to identify the requirements to be met in order to create MIBS, then to determine the essential functionalities and the main limitations of the frameworks allowing the creation of MIBS. This allowed us to propose and develop our own framework.At this stage, human intervention is necessary for the MIBS adaptation process. We then proposed a study of the life cycle of these systems to identify the tasks, roles and tools involved in this adaptation process. To equip the MIBS deployment stage, we have proposed a method and a tool proposing to use Virtual Reality (VR) to configure and evaluate MIBS in 3D models of environments before moving on to deployment in real environments. A user experiment confirmed the interest of this approach.
Les MIBS sont des systèmes multimodaux utilisant des objets connectés comme interfaces d’interaction. Il faut des méthodes et des outils pour faciliter l’adaptation de ces systèmes aux spécificités des environnements d’exécution. D'un environnement à l'autre, les objets connectés sont différents, placés à des endroits différents, avec des disponibilités variables. Un état de l’art a permis d’identifier les exigences à atteindre pour réaliser des MIBS, puis de déterminer les fonctionnalités essentielles et les principales limitations des frameworks permettant de réaliser des MIBS. Cela nous a permis de proposer et développer notre propre framework. À ce stade une intervention humaine est nécessaire au processus d’adaptation des MIBS. Nous avons ensuite proposé une étude du cycle de vie de ces systèmes pour identifier les tâches, rôles et outils intervenant dans ce processus d’adaptation. Pour outiller l’étape de déploiement des MIBS nous avons proposé une méthode et un outil proposant d’utiliser la Réalité Virtuelle (RV) pour configurer et évaluer des MIBS dans des modèles 3D d’environnements avant de passer au déploiement dans les environnements réels. Une expérimentation utilisateur a confirmé l’intérêt de cette approche.
Fichier principal
Vignette du fichier
2023IMTA0343_Poirier-Fabrice_Diffusion.pdf (18.93 Mo) Télécharger le fichier
Origin Version validated by the jury (STAR)

Dates and versions

tel-04041446 , version 1 (22-03-2023)


  • HAL Id : tel-04041446 , version 1


Fabrice Poirier. Les interactions multimodales dans le contexte de l’internet des objets. Interface homme-machine [cs.HC]. Ecole nationale supérieure Mines-Télécom Atlantique, 2023. Français. ⟨NNT : 2023IMTA0343⟩. ⟨tel-04041446⟩
162 View
36 Download


Gmail Mastodon Facebook X LinkedIn More