Development of localised haptic feedback on interactive surfaces with the Inverse Filter method and its evaluation on a Perkins Braille reading case study - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Development of localised haptic feedback on interactive surfaces with the Inverse Filter method and its evaluation on a Perkins Braille reading case study

Développement d'un retour haptique localisé sur des surfaces interactives avec la méthode de filtre inverse et son évaluation sur une étude de cas de lecture en Braille Perkins

Lucie Pantera
  • Fonction : Auteur
  • PersonId : 1270190
  • IdRef : 264632974

Résumé

Our interaction with touchscreens is limited, relying mostly on sight and hearing. Yet, providing tactile feedback can greatly enhance interaction, making it more natural and immersive, for example for keyboard typing or texture rendering. However, providing rich vibratory feedback on a surface is technically difficult. Standard approaches (i.e. present in our smartphones) vibrate the entire screen: the vibrations are therefore not localised and it is therefore impossible to provide a distinct vibratory feedback for each finger in contact with the surface, which limits the possible feedbacks and thus their diversity and richness. In this thesis, a new method called the Inverse Filter method is proposed, which, coupled with an array of piezoelectric actuators glued under a glass surface, allows to localise vibrations on this surface. It can achieve a resolution from 5 mm to 15 mm and the different parameters of the vibrations, namely the waveform, amplitude and location of the vibration, can be controlled to tune the vibration. By adding a capacitive screen to the glass surface and combined with an interpolation method, it is possible to retrieve the position of the fingers and send a localised vibratory feedback to different fingers in realtime. Beyond the development of the technology, user studies have been conducted. Indeed, this technology can not only improve the interaction with our smartphones and tablets, but especially benefit visually impaired people. Currently, it is not possible to display Braille on a touchscreen with vibrations because it requires a resolution of 2 mm. On the other hand, it is possible to display Perkins Braille, normally used for writing, which mobilises the index, middle and ring fingers of both hands (and thus a resolution of 1 cm). A user study, validated by the ethics committee of Paris-Saclay, was conducted in different stages to test different methods of presenting the letters of the alphabet and eventually convey words, and to gather feedback from the visually impaired users. The user study demonstrated the potential for the technology, as visually impaired participants managed to read both letters and words, but also the need to find the suitable presentation methods and parameters. Overall, the technology was well accepted by the users, who foresaw an interest for short messages such as time or notifications, for e.g. at bus stops.
Les surfaces tactiles ont envahi notre quotidien. La plupart des smartphones sont désormais presque entièrement tactiles. Malheureusement, ces surfaces tactiles sont inertes et manquent de retour haptique riche, de sorte que l'utilisateur est contraint d'interagir principalement par la vision. Actuellement, ces interactions avec les écrans tactiles sont le plus souvent réalisées avec un seul doigt. Cependant, il serait avantageux de pouvoir interagir avec plusieurs doigts en même temps pour effectuer une tâche. Actuellement, les smartphones peuvent être dotés d'une entrée multi-doigts mais ne peuvent pas combiner un retour vibratoire avec cette entrée multi-doigts. Ils fournissent un retour sous la forme d'une vibration globale, c'est-à-dire que la vibration se propage dans la surface et que deux doigts en contact simultanément sur la surface reçoivent la même information vibratoire. Pouvoir faire un rendu localisé des feedbacks haptiques pourrait ouvrir de nouvelles possibilités d'interaction. Deux personnes utilisant simultanément le même écran pourraient ressentir des vibrations très indépendantes. Cependant, l'ajout d'un tel retour vibrotactile multitouch localisé à un écran tactile n'est pas simple, en raison des problèmes de vibration, de propagation, de réverbération et d'atténuation. Par conséquent, la question de recherche abordée par cette thèse est de savoir comment localiser physiquement ces vibrations pour obtenir un rendu multitouch sur une surface tactile, en vue d'une intégration future dans des dispositifs couramment utilisés. Cette thèse a donc étudié et développé une nouvelle méthode de retour vibratoire multitouch localisé pour résoudre ces problèmes. Cette approche est basée sur le contrôle actif des vibrations qui se propagent dans la surface. En effet, comme mentionné précédemment, lorsque le doigt touche la surface, il va recevoir un retour vibratoire. Cependant, cette vibration ne reste pas concentrée au point de contact mais se propage dans toute la surface, se réverbère et finit par s'éteindre. En effet, la longueur d'onde dans une surface de verre de 1 mm d'épaisseur à une fréquence de 250 Hz est d'environ 15 cm, il n'est donc pas possible de faire un rendu localisé en dessous de cette longueur d'onde. L'objectif de cette thèse était de dépasser cette limite afin d'obtenir une résolution plus fine de l'ordre du centimètre, c'est-à-dire de la taille du bout du doigt. L'approche décrite dans cette thèse, appelée méthode du Filtre Inverse, a permis de dépasser cette limite et de localiser les vibrations avec une résolution de 1 cm, bien en dessous de la longueur d'onde. Un premier prototype a été développé avec 14 actionneurs piézoélectriques de diamètre 20 mm, collés sous la surface pour appliquer la méthode du Filtre Inverse, bien connue dans le domaine médical par exemple, au domaine de l'haptique. La méthode du Filtre Inverse est une technique de contrôle des vibrations, qui permet de contrôler la valeur du champ acoustique à des positions choisies. A travers ce travail de thèse, la méthode du Filtre Inverse a été appliquée pour la première fois dans le domaine de l'haptique afin de localiser les vibrations en tout point d'une plaque et pas seulement au-dessus des actionneurs piézoélectriques, comme cela avait été réalisé précédemment. Les résultats ont démontré qu'il était effectivement possible de rendre un retour vibrotactile indépendant à plusieurs endroits prédéfinis simultanés, autres qu'au-dessus des actionneurs. Les premières expériences sur le prototype ont montré qu'il était également possible de choisir les caractéristiques du retour vibrotactile, contrairement aux travaux existants où seuls certains paramètres sont variables. [...]
Fichier principal
Vignette du fichier
PANTERA_Lucie_2022_v2.pdf (39.46 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04162069 , version 1 (14-07-2023)

Identifiants

  • HAL Id : tel-04162069 , version 1

Citer

Lucie Pantera. Development of localised haptic feedback on interactive surfaces with the Inverse Filter method and its evaluation on a Perkins Braille reading case study. Acoustics [physics.class-ph]. Sorbonne Université, 2022. English. ⟨NNT : 2022SORUS159⟩. ⟨tel-04162069⟩
108 Consultations
11 Téléchargements

Partager

Gmail Facebook X LinkedIn More