Plasticity for User Interfaces in Mixed Reality
Plasticité pour les Interfaces de Réalité Mixte
Résumé
This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includes
Virtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications.
Plasticity refers to the capacity of an interactive system to withstand variations of both the system
physical characteristics and the environment while preserving its usability. Usability continuity of
a plastic interface is ensured whatever the context of use. Therefore, we propose a set of software
models, integrated in a software solution named 3DPlasticToolkit, that allow any developer to
create plastic MR user interfaces. First, we propose three models for modeling adaptation sources:
a model for the description of display devices and interaction devices, a model for the description
of the users and their preferences, a model for the description of data structure and semantic.
These adaptation sources are taken into account by an adaptation process that deploys application
components adapted to the context of use thanks to a scoring system. The deployment of these
application components lets the system adapt the interaction techniques of the application of its
content presentation. We also propose a redistribution process that allows the end-user to change
the distribution of his/her application components across multiple dimensions: display, user and
platform. Thus, it allows the end-user to switch dynamically of platform or to combine multiple
platforms. The implementation of these models in 3DPlasticToolkit provides developers with a
ready to use solution for the development of plastic MR user interfaces. Indeed, the solution already
integrates dierent display devices and interaction devices and also includes multiple interaction
techniques, visual eects and data visualization metaphors.
Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applications
de Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). La
plasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementales
dans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interface
plastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et une
solution logicielle nommée 3DPlasticToolkit an de permettre aux développeurs de créer des interfaces
de réalité mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliser
les sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifs
d'achage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pour
représenter la structure et la sémantique des données. Ces sources d'adaptation vont être prises
en compte par un processus d'adaptation qui va déployer dans une application les composants
applicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de ces
composants va permettre d'adapter à la fois les techniques d'interaction de l'application et également
la présentation de son contenu. Nous proposons également un processus de redistribution
qui va permettre à l'utilisateur nal de changer la distribution des composants de son système
sur diérentes dimensions : achage, utilisateur et plateforme. Ce processus va ainsi permettre à
l'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes.
L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs une
solution prête à l'usage qui peut gérer les périphériques actuels de réalité mixte et qui inclut un
certain nombre de techniques d'interaction, d'eets visuels et de métaphores de visualisation de
données.