Design of a deep neural network architecture dedicated to handwriting synthesis using kinematic sensors from a digital pen. - TEL - Thèses en ligne
Thèse Année : 2024

Design of a deep neural network architecture dedicated to handwriting synthesis using kinematic sensors from a digital pen.

Conception d’une architecture de réseaux de neurones profonds dédiée à la synthèse d’écriture manuscrite à partir de capteurs cinématiques d’un stylo numérique.

Résumé

This thesis focuses on a digital pen equipped with kinematic sensors, and its aim is to reconstruct the in-line trace of handwriting. We introduce a new processing pipeline that associates pen sensor signals with the corresponding writing trajectory. Based on Dynamic Time Warping to align the signals and an architecture inspired by Temporal Convolutional Networks Additionally, we present a Mixture-Of-Experts (MOE) approach to enhance the focus and understanding of each aspect of handwriting, comprising a touching expert model for pencil touches and a pen-up expert model for pen trajectories. A significant challenge is the variation in captured signals between adults and children, due to differences in speed and confidence in handwriting gestures. We address this through a domain adaptation approach. Furthermore, we introduce a new public benchmark dataset to support future research and comparisons in the field of handwriting reconstruction.
Cette thèse vise à reconstruire la trace de l'écriture manuscrite en ligne à partir d'un stylo numérique Stabilo équipé de capteurs cinématiques. Nous proposons un pipeline de traitement associant les signaux des capteurs à la trajectoire d'écriture, utilisant le Dynamic Time Warping pour l'alignement et une architecture inspirée des Temporal Convolutional Networks. En outre, nous présentons une approche de mélange d'experts (MOE) pour améliorer la compréhension de chaque aspect de l'écriture manuscrite, comprenant un modèle d'expert pour les touchés de crayon et un modèle d'expert pour les trajectoires plume haute. La variation des signaux capturés entre les adultes et les enfants, due aux différences de vitesse et de confiance dans les gestes d'écriture manuscrite, constitue un défi important. Nous y remédions par une approche d'adaptation au domaine. Par ailleurs, nous fournissons un nouvel ensemble de données de référence publiques pour soutenir les recherches et les comparaisons futures dans le domaine de la reconstruction de l'écriture manuscrite.
Fichier principal
Vignette du fichier
These_Florent.pdf (22.11 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04887058 , version 1 (14-01-2025)

Identifiants

  • HAL Id : tel-04887058 , version 1

Citer

Florent Imbert. Design of a deep neural network architecture dedicated to handwriting synthesis using kinematic sensors from a digital pen.. Computer Science [cs]. INSA RENNES, 2024. English. ⟨NNT : 2024ISAR0020⟩. ⟨tel-04887058⟩
0 Consultations
0 Téléchargements

Partager

More