Conversion d’écriture hors-ligne en écriture en-ligne et réseaux de neurones profonds - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2024

Offline handwritting conversion to online and neural networks

Conversion d’écriture hors-ligne en écriture en-ligne et réseaux de neurones profonds

Résumé

This thesis focuses on the conversion of static images of offline handwriting into temporal signals of online handwriting. Our goal is to extend neural networks beyond the scale of images of isolated letters and as well to generalize to other complex types of content. The thesis explores two distinct neural network-based approaches, the first approach is a fully convolutional multitask UNet-based network, inspired by the method of [ZYT18]. This approach demonstrated good results for skeletonization but suboptimal stroke extrac- tion. Partly due to the inherent temporal mod- eling limitations of CNN architecture. The second approach builds on the pre- vious skeletonization model to extract sub- strokes and proposes a sub-stroke level modeling with Transformers, consisting of a sub- stroke embedding transformer (SET) and a sub-stroke ordering transformer (SORT) to or- der the different sub-strokes as well as pen up predictions. This approach outperformed the state of the art on text lines and mathematical equations databases and addressed several limitations identified in the literature. These advancements have expanded the scope of offline-to-online conversion to include entire text lines and generalize to bidimensional content, such as mathematical equations
Cette thèse se focalise sur la conversion d’images statiques d’écriture hors- ligne en signaux temporels d’écriture en-ligne. L’objectif est d’étendre l’approche à réseau de neurone au-delà des images de lettres isolées ainsi que de les généraliser à d’autres types de contenus plus complexes. La thèse explore deux approches neuronales distinctes, la première approche est un réseau de neurones convolutif entièrement convolutif multitâche UNet basé sur la méthode de [ZYT18]. Cette approche a démontré des bons résultats de squelettisation mais en revanche une extraction de trait problé- matique. En raison des limitations de modélisation temporelle intrinsèque à l’architecture CNN. La deuxième approche s’appuie sur le modèle de squelettisation précédent pour ex- traire les sous-traits et propose une modélisation au niveau sous-traits avec deux Tranformers : un encodeur de sous-trait (SET) et un décodeur pour ordonner les sous-traits (SORT) à l’aide de leur vecteur descripteur ainsi que la prédiction de lever de stylo. Cette approche surpasse l’état de l’art sur les bases de données de mots, phrases et d’équations mathématiques et a permis de surmonter plusieurs limitations relevées dans la littérature. Ces avancées ont permis d’étendre la portée de la conversion d’image d’écriture hors- ligne vers l’écriture en-ligne pour inclure des phrases entières de texte et d’aborder un type de contenu complexe tel que les équations mathématiques

Domaines

Autre [cs.OH]
Fichier principal
Vignette du fichier
MOHAMEDMOUSSA.pdf (12.62 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04583082 , version 1 (22-05-2024)

Identifiants

  • HAL Id : tel-04583082 , version 1

Citer

Elmokhtar Mohamed Moussa. Conversion d’écriture hors-ligne en écriture en-ligne et réseaux de neurones profonds. Autre [cs.OH]. Nantes Université, 2024. Français. ⟨NNT : 2024NANU4001⟩. ⟨tel-04583082⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More