Reconnaissance de l’écriture manuscrite avec des réseaux récurrents - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2015

Recurent neural network for handwriting recognition

Reconnaissance de l’écriture manuscrite avec des réseaux récurrents

Résumé

Mass digitization of paper documents requires highly efficient optical cha- racter recognition systems. Digital versions of paper documents enable the use of search engines through keyword dectection or the extraction of high level information (e.g. : titles, author, dates). Unfortunately writing recognition sys- tems and especially handwriting recognition systems are still far from having similar performance to that of a human being on the most difficult documents. This industrial PhD (CIFRE) between Airbus DS and the LITIS, that took place within the MAURDOR project time frame, aims to seek out and improve the state of the art systems for handwriting recognition. We compare different systems for handwriting recognition. Our compa- risons include various feature sets as well as various dynamic classifiers : i) Hidden Markov Models, ii) hybrid neural network/HMM, iii) hybrid recurrent network Bidirectional Long Short Term Memory - Connectionist Temporal Classification (BLSTM-CTC)/MMC, iv) a hybrid Conditional Random Fields (CRF)/HMM. We compared these results within the framework of the WR2 task of the ICDAR 2009 competition, namely a word recognition task using a 1600 word lexicon. Our results rank the BLSTM-CTC/HMM system as the most performant, as well as clearly showing that BLSTM-CTCs trained on different features are complementary. Our second contribution aims at using this complementary. We explore various combination strategies that take place at different levels of the BLSTM- CTC architecture : low level (early fusion), mid level (within the network), high level (late integration). Here again we measure the performances of the WR2 task of the ICDAR 2009 competition. Overall our results show that our different combination strategies improve on the single feature systems, moreover our best combination results are close to that of the state of the art system on the same task. On top of that we have observed that some of our combinations are more adapted for systems using a lexicon to correct a mistake, while other are better suited for systems with no lexicon. Our third contribution is focused on tasks related to handwriting recognition. We present two systems, one designed for language recognition, the other one for keyword detection, either from a text query or an image query. For these two tasks our systems stand out from the literature since they use a handwriting recognition step. Indeed most literature systems focus on extracting image features for classification or comparison, wich does not seem appropriate given the tasks. Our systems use a handwriting recognition step followed either by a language detection step or a word detection step, depending on the application.
La numérisation massive de documents papier a fait apparaître le besoin d’avoir des systèmes de reconnaissance de l’écriture extrêmement performants. La numérisation de ces documents permet d’effectuer des opérations telles que des recherches de mots clefs ou l’extraction d’informations de haut niveau (titre, auteur, adresses, et.). Cependant la reconnaissance de l’écriture et en particulier l’écriture manuscrite ne sont pas encore au niveau de performance de l’homme sur des documents complexes, ce qui restreint ou nuit à certaines applications. Cette thèse CIFRE entre Airbus DS et le LITIS, dans le cadre du projet MAURDOR, a pour but de mettre en avant et d’améliorer les méthodes état de l’art dans le domaine de la reconnaissance de l’écriture manuscrite. Nos travaux comparent différents systèmes permettant d’effectuer la reconnaissance de l’écriture manuscrite. Nous comparons en particulier différentes caractéristiques et différents classifieurs dynamiques : i) Modèles de Markov Cachés (MMC), ii) hybride réseaux de neurones/MMC, iii) hybride réseaux récurrents « Bidirectional Long Short Term Memory - Connectionist Temporal Classification » (BLSTM-CTC)/MMC et iv) hybride Champs Aléatoires Conditionnels (CAC)/MMC. Les comparaisons sont réalisées dans les conditions de la tâche WR2 de la compétition ICDAR 2009, c’est à dire une tâche de reconnaissance de mots isolés avec un dictionnaire de 1600 mots. Nous montrons la supériorité de l’hybride BLSTM-CTC/MMC sur les autres classifieurs dynamiques ainsi que la complémentarité des sorties des BLSTM-CTC utilisant différentes caractéristiques. Notre seconde contribution vise à exploiter ces complémentarités. Nous explorons des stratégies de combinaisons opérant à différents niveaux de la structure des BLSTM-CTC : bas niveau (en entrée), moyen niveau (dans le réseau), haut niveau (en sortie). Nous nous plaçons de nouveau dans les conditions de la tâche WR2 de la compétition ICDAR 2009. De manière générale nos combinaisons améliorent les résultats par rapport aux systèmes individuels, et nous avoisinons les performances du meilleur système de la compétition. Nous avons observé que certaines combinaisons sont adaptées à des systèmes sans lexique tandis que d’autres sont plus appropriées pour des systèmes avec lexique. Notre troisième contribution se situe sur deux applications liées à la reconnaissance de l’écriture. Nous présentons un système de reconnaissance de la langue ainsi qu’un système de détection de mots clefs, à partir de requêtes images et de requêtes de texte. Dans ces deux applications nous présentons une approche originale faisant appel à la reconnaissance de l’écriture. En effet la plupart des systèmes de la littérature extraient des caractéristiques des image pour déterminer une langue ou trouver des images similaires, ce qui n’est pas nécessairement l’approche la plus adaptée au problème à traiter. Nos approches se basent sur une phase de reconnaissance de l’écriture puis une analyse du texte afin de déterminer la langue ou de détecter un mot clef recherché.
Fichier principal
Vignette du fichier
these.pdf (30.78 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01301728 , version 1 (12-04-2016)

Identifiants

  • HAL Id : tel-01301728 , version 1

Citer

Luc Mioulet. Reconnaissance de l’écriture manuscrite avec des réseaux récurrents. Traitement du texte et du document. Université de rouen, 2015. Français. ⟨NNT : ⟩. ⟨tel-01301728⟩
574 Consultations
2413 Téléchargements

Partager

Gmail Facebook X LinkedIn More