Democratization of augmented reality head-mounted displays from a text entry perspective in work environments
Démocratisation des visiocasques de réalité augmentée : perspective de la saisie de texte dans des environnements de travail.
Résumé
Many people predict a massive use of augmented reality head-mounted displays in different areas already explored by research, including health, education, entertainment and industry. Each of these areas involves scenarios with significant and ubiquitous text input activity, whether for a username or password, annotation of documents or virtual objects, a comment, a report or for sending messages. However, the contexts of use and the characteristics of these augmented reality head-mounted displays imply new interfaces beyond the usual framework of the keyboard-mouse couple or the tactile surface already adopted by the personal computer and the smartphone. In that regard, several text entry interfaces for head-mounted displays have been suggested, implemented and studied, through the recognition of gestures such as those of the hands, head or gaze, up to specific peripherals, such as controllers, gloves or rings, but none adequately responds to the constraints imposed by augmented reality for industrial and office work environments. Within the limits of these contexts supported by our industrial partner, this thesis attempts to address this problem by offering two new complementary text entry interfaces dedicated to augmented reality head-mounted displays. The first solution dedicated to the industrial environment invites users to combine a smartwatch with the head-mounted display to offer a multimodal interface adapted to difficult situations. The second solution dedicated to the office environment, invites users to handle a cubic device offering similar characteristics than traditional keyboards while being mobile. We adopted iterative user-centered design methods to implement parts of our solutions, and followed an empirical research approach including eight experiments to study and compare them. Finally, the analysis of the work allows us to develop and illustrate how our solutions can evolve to reach other contexts and activities, and thus actively participate in the democratization of augmented reality head-mounted displays.
Nombreux sont ceux qui prédisent une utilisation massive, dans un avenir proche, des visiocasques de réalité augmentée dans de nombreux domaines déjà explorés par la recherche, incluant notamment la santé, l’éducation, le divertissement et l’industrie. Chacun de ces domaines implique des scénarios avec une saisie de texte importante et ubiquitaire, qu’elle soit pour un identifiant ou un mot de passe, une annotation de documents ou d’objets virtuels, un commentaire, un rapport ou pour l’envoi de messages. Pour autant, les contextes d’utilisations et les caractéristiques des visiocasques impliquent de nouvelles interfaces dépassant le cadre habituel du couple clavier-souris ou de la surface tactile déjà adopté par l’ordinateur personnel et le téléphone intelligent. À cet égard, plusieurs interfaces de saisie de texte pour visiocasque ont été proposées, implémentées et étudiées, en passant par la reconnaissance des gestes tels que ceux des mains, de la tête ou du regard, jusqu’aux périphériques spécifiques, tels que les manettes, gants ou anneaux. Cependant aucune ne répond adéquatement aux contraintes imposées par la réalité augmentée pour les environnements de travail industriel et de bureau. En s'appuyant sur des terrains amenés par un partenaire industriel de la thèse, nos travaux tentent de répondre à cette problématique en proposant deux nouvelles interfaces complémentaires de saisie de texte dédiées aux visiocasques de réalité augmentée. La première solution, conçue pour un environnement industriel, invite les utilisateurs à combiner le port d’une montre connectée avec celui du visiocasque pour offrir une interface multimodale adaptée à des situations difficiles. La deuxième solution, conçue pour répondre aux environnements de bureau, invite les utilisateurs à manipuler un appareil cubique offrant des caractéristiques semblables aux claviers traditionnels tout en étant mobile. Nous avons adopté des méthodes itératives de conception centrée sur l’utilisateur pour implémenter des parties de nos solutions, et suivi une approche de recherche empirique comprenant huit expérimentations pour les étudier et comparer. Finalement, l’analyse des travaux nous permet d’élaborer et illustrer comment nos solutions peuvent évoluer pour atteindre d’autres contextes et activités, et ainsi participer activement à la démocratisation des visiocasques de réalité augmentée.
| Origine | Version validée par le jury (STAR) |
|---|