Designing interaction for browsing media collections (by similarity) - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2015

Designing interaction for browsing media collections (by similarity)

Concevoir l'interaction pour la navigation dans des collections de contenu media (par similarité)

Résumé

Sound designers source sounds in massive and heavily tagged collections. When searching for media content, once queries are filtered by keywords, hundreds of items are left to be reviewed. How can we present these results efficiently? This doctoral work aims at improving the usability of browsers of media collections by blending techniques from multimedia information retrieval (MIR) and human-computer interaction (HCI). We produced an in-depth state-of-the-art on media browsers. We overviewed HCI and MIR techniques that support our work: organization by content-based similarity (MIR), information visualization and gestural interaction (HCI). We developed the MediaCycle framework for organization by content-based similarity and the DeviceCycle toolbox for rapid prototyping of gestural interaction, both facilitated the design of several media browsers. We evaluated the usability of some of our media browsers. Our main contribution is AudioMetro, an interactive visualization of sound collections. Sounds are represented by content-based glyphs, mapping perceptual sharpness (audio) to brightness and contour (visual). These glyphs are positioned in a starfield display using Student t-distributed Stochastic Neighbor Embedding (tSNE) for dimension reduction, then a proximity grid optimized for preserving direct neighbors. Known-item search evaluation shows that our technique significantly outperforms a grid of sounds represented by dots and ordered by filename.
Les illustrateurs sonores puisent des sons dans de gigantesques collections annotées. Lors de la recherche de matériau sonore, quand les mots-clefs ne suffisent plus à affiner chaque requête, des centaines d'éléments restent à examiner. Comment présenter ces résultats efficacement? Cette recherche doctorale vise à améliorer l'utilisabilité d'outils de navigation dans des collections de contenu media en combinant des techniques issues de l'interaction humain-machine (IHM) et de fouille multimedia (MIR). Nous avons produit un état de l'art étendu des navigateurs de contenu media. Nous avons recensé les techniques d'IHM et MIR qui supportent méthodologiquement nos travaux. Nous avons développé MediaCycle pour l'organisation de contenu media par similarité basée sur le signal et DeviceCycle pour le prototypage rapide d'interaction gestuelle qui ont facilité la conception de navigateurs media. Nous avons évalué l'utilisabilité de certains de nos navigateurs media. Notre principale contribution est AudioMetro, une visualisation de collections de sons. Chaque son est représenté par un glyphe dont la luminosité et le contour sont associés à l'acuité acoustique. Ces glyphes sont positionnés dans une représentation 2D par réduction de dimension de caractéristiques du signal audio puis application d'une grille de proximité optimisée pour préserver les voisins directs. Une évaluation utilisateur par recherche de cibles connues a montré que notre technique est plus efficace qu'une grille de points agencés par ordre de lecture des noms de fichiers.
Fichier principal
Vignette du fichier
ChristianFrisson-PhD.pdf (42.83 Mo) Télécharger le fichier

Dates et versions

tel-01570858 , version 1 (01-08-2017)

Licence

Paternité - Partage selon les Conditions Initiales

Identifiants

  • HAL Id : tel-01570858 , version 1

Citer

Christian Frisson. Designing interaction for browsing media collections (by similarity). Human-Computer Interaction [cs.HC]. Université de Mons; Université de Mons, Belgique, 2015. English. ⟨NNT : ⟩. ⟨tel-01570858⟩

Collections

AFIM
254 Consultations
203 Téléchargements

Partager

Gmail Facebook X LinkedIn More