Context-based Innovative Mobile User Interfaces
Interfaces utilisateur novatrices basées sur le contexte
Résumé
With the development of various sensors and devices, the computing is no longer limited to the desktop mode. However, the traditional user interface, used on the desktop computer, is no longer appropriate for ubiquitous computing. A sophisticated mobile environment requires dedicated design of interfaces involving the input and output techniques with the new emerging features beyond the ability of traditional ones. One of the possible solutions to enable the ubiquitous interaction and break the limitation of the desktop mode is the nomadism, another one is mobility. We propose three interfaces related to these two solutions: In-environment interface (IEI), Environment Dependent Interface (EDI) and Environment Independent Interface (EII). We exclude IEI and mainly focus on the wearable interaction. This thesis aims at an investigation of research issues involved in the design, implementation and evaluation of EDI and EII. First, we globally present our design approach of these three innovative interfaces (IEI, EDI and EII), their wearable configurations (camera-glasses device unit and camera-projector device unit), the real examples of use (including the Research Team Interaction Scenario) and the preliminary evaluation of input selection techniques to prove the feasibility of our prototypes. Second, in order to concretize the EDI and EII, we propose a continuum ranging from physical interface, physical-digital mixed interface, to digital interface. Based on the physical paper-based interface, the MobilePaperAccess is a wearable camera-glasses system allowing accessing to digital information from a paper interface. This system is devised to validate our concepts of EDI and EII. The two interfaces (EDI and EII) and three input techniques (finger input, mask input and page input) have been evaluated in both the quantitative and qualitative methods with this system. Based on the digital projected scalable interface, PlayAllAround system is a wearable camera-projector system with the scalable interface allowing mobile interaction and provides both the nearer small-size interface and the farther large-size interface supporting for the private and public use. In the design of this system we propose the design of reference-cell and the principle from decomposition of the application tasks to formation of scalable interface. The hover gesture and the scalable interface have been evaluated with this system. Results from our experiments have shown that PlayAllAround performs well with the hover gesture and the scalable interface. To go a step further, we explore the hand gestures including the hover gesture, the pinch gesture and the fist-palm gesture. We employ the pinch gesture and fist-palm gesture as the input for pointing, drag-drop action and painting. In order to satisfy the requirements of interaction in the sophisticated daily life, we investigate how the user might interact with these gestures in both the stationary and mobile settings. We compare the interactions of hover gesture and pinch gesture under three situations as standing, sitting and walking. Furthermore, the evaluation of the projected interface, as well as the satisfaction on the operation of the head worn configuration has been done and discussed. Finally, along with the continuum, we continue to investigate the physical-digital mixed interface by a wearable camera-projector device unit with the goal of concretizing the concepts of EDI and EII. The mixed interface contains the marker-based part with AR-toolkit tags and the projected digital part. Since the projection display can be an alternative method to provide the large presentation of image without any external support of device, the mixed interface has the capacity to contain more information as well as more dynamical choices compared with the physical interface. In a conclusion, in this thesis we have investigated the theoretical analysis, the innovative design, practical development, and both the quantitative and qualitative user studies. Our work is a many-sided investigation on innovative wearable interfaces, as well as input and output techniques, which will pave the foundation for the future research on the wearable interfaces.
Avec le développement de différents capteurs et des dispositifs, l'informatique ne se limite plus à la mode bureautique. Cependant, l'interface utilisateur traditionnelle, utilisée sur l'ordinateur de bureau, n'est plus approprié pour l'informatique ubiquitaire. La complexité de l'environnement mobile demande la conception d'interfaces dédiées impliquant des techniques d'entrée et la sortie qui contiennent les nouvelles caractéristiques émergentes au-delà des techniques traditionnelles. L'une des solutions possibles pour permettre l'interaction omniprésente soit le nomadisme, soit la mobilité. Nous proposons trois interfaces liées à ces deux solutions: L'interface fixé dan l'environnement (abréviation de IEI en anglais), interface dépendante de l'environnement (EDI) et Interface Indépendante de l'environnement (EII). Tout d'abord, nous présentons globalement notre approche sur la conception de ces trois interfaces innovantes (IEI, EDI et EII), leurs configurations portées (dispositif d'affichage portée sur les lunettes plus caméra et dispositif d'affichage pico-projecteur plus caméra), des exemples réels d'utilisation et une évaluation préliminaire des techniques d'entrée de sélection pour prouver la faisabilité de nos prototypes. Par la suite, nous proposons sur les dispositifs portées, et seule les EDI et les EII seraient étudié plus en détail. Afin de concrétiser l'EDI et l'EII, nous proposons un continuum allant de l'interface physique, l'interface mixte physique-numérique, jusqu'à l'interface totalement numérique. Basé sur l'interface physique, nous proposons le système MobilePaperAccess qui sur le dispositif d'affichage portée sur les lunettes plus caméra permettant l'accès à l'information numérique à partir d'une interface imprimé du papier. Ce système est conçu pour valider nos concepts de l'EDI et de l'EII. Les deux types d'interfaces (EDI et EII) et trois techniques d'entrée (doigt, masque et carnet) ont été évaluées par les méthodes quantitatives et qualitatives avec ce système. Basé sur l'interface numérique projetée multi-échelle, le système PlayAllAround est sur dispositif d'affichage pico-projecteur plus caméra, et il pouvoir fournir un affichage à différentes tailles, à la plus petite, individuelle et portée, à la plus grande, partageable et publique. Pour la conception de ce système, nous proposons une décomposition de l'interface basée sur une de cellule de référence de taille fixé pourrait la mise à l'échelle de l'interface en fonctionne de la taille de projection. Le geste de sélection sur un vol et l'interface multi-échelle ont été évalués avec ce système. Les résultats de nos expériences ont montré que PlayAllAround fonctionne bien avec le geste de sélection sur un vol et l'interface multi-échelle. Pour aller plus loin, nous explorons les gestes de la main, y compris le geste stationnaire, le geste de pincement et le geste de fermeture du poing. Nous employons le geste de pincement et le geste de fermeture du poing comme entrée pour pointer, l'action de glisser-déposer et la action de tracer. Afin de satisfaire aux exigences de l'interaction dans la vie quotidienne, nous étudions comment l'utilisateur peut interagir avec ces gestes à l'arrêt ou en marchant. Nous comparons les interactions du geste de sélection sur un vol et geste de pincement dans trois situations que debout, assis et en marchant. En outre, l'évaluation de l'interface projetée, ainsi que la satisfaction sur le fonctionnement de la configuration porté sur la tête a été faite et discutée. Enfin, le long du continuum, nous continuons à étudier sur l'interface mixte par un dispositif pico-projecteur plus caméra dans le but de concrétiser les concepts de l'EDI et de l'EII. L'interface mixte contient une partie physique basée sur des marqueurs d'ARToolkit et une partie numérique projetée. Comme l'écran de projection est une méthode alternative pour afficher plus d'information sans aucun support physique, l'interface mixte a la capacité de contenir davantage d'informations ainsi que de fournir plus de choix dynamiques par rapport à l'interface physique seul. En conclusion, dans cette thèse, nous avons étudié de manière théorique, la conception innovante, et nous avons proposons les prototypes concrètes et les avons évalués par les deux études quantitatives et qualitatives avec des utilisateurs. Plus généralement, ce travail est une étude multi-facette sur les interfaces portées innovantes, ainsi que les techniques avancées d'entrée et de sortie, ce qui ouvre des prospectives pour futures recherches sur les interfaces portées.