Interactive interpretation of structured documents: application to the retro-conversion of handwritten architectural plans
Interprétation interactive de documents structurés : application à la rétroconversion de plans d'architecture manuscrits
Résumé
This thesis is part of the Mobisketch ANR project (http://mobisketch.irisa.fr/). This project aims to develop a generic pen-based solution for the realization of structured documents: drawings, plans... The objective is to achieve a continuum between a technical scheme in its paper form and the same document in its digital interpreted form. This continuum requires two coherent analyzers: one for the recognition phase and another for the composition /editing phase. We are interested in this thesis to the recognition analyzer. The aim of our work was to develop an interactive, incremental and generic method for the recognition of structured documents. The originality of our recognition method, named IMISketch, is to solicit the user during the analysis phase. Indeed, the analysis process is able to solicit the user if it finds ambiguity cases. Two cases of ambiguity may arise: the structural ambiguity and the shape ambiguity. The structural ambiguity is solved by the analysis system when it hesitates between two different segmentations to interpret a symbol. For example, in an architectural plan, the structural ambiguity can be raised to find the right segmentation of primitives between a wall and an opening (door, window, etc.). The shape ambiguity is raised if there are several competing hypotheses to label a symbol, such an ambiguity between a door and a window. The integration of the user in the loop recognition avoids tedious a posteriori correction of recognition errors. The recognition process is based on a separation of the analyzer and of the knowledge related to the kind of document to recognize. The a priori knowledge on the structure of the document is expressed through a visual grammatical language based on some production rules. The application of each rule is quantified by assigning a score to each hypothesis associated to a branch of the analysis tree. The grammatical description is used to drive the analysis. Our rule-based analyzer is able to compete some hypotheses of interpretation, in order to solicit the user when necessary. In addition, to limit the combinatorial, the analyzer is based on a local search context. We also implement an original process based on an hybrid exploration, guided by the grammatical description, which locally accelerates the analysis while limiting the false interpretation risk. Our interactive method has been validated on handwritten architectural plans. These plans are made of walls, three opening types and a dozen of furniture classes. This work shows that the user solicitation improves the quality of document recognition.
Cette thèse entre dans le cadre de projet ANR-Mobisketch (http://mobisketch.irisa.fr/). Ce projet vise à élaborer une solution logicielle générique orientée stylo pour la réalisation de documents techniques : schémas, plans... L'objectif est d'aboutir à un continuum entre un document technique sous sa forme papier et ce même document sous sa forme numérique interprétée. Ce continuum nécessite deux analyseurs cohérents : un pour la phase de reconnaissance et un autre pour la composition/édition. Nous nous sommes intéressés dans cette thèse à l'analyseur pour la reconnaissance de documents. Le but de nos travaux était d'élaborer une approche interactive, générique et incrémentale. L'originalité de notre méthode de reconnaissance, nommée IMISketch, est la sollicitation de l'utilisateur durant la phase d'analyse. En effet, le processus d'analyse est capable de solliciter l'utilisateur s'il rencontre des cas d'ambigüités. Deux cas d'ambigüité peuvent se présenter : l'ambigüité structurelle et l'ambigüité de forme. L'ambigüité structurelle est levée par le système d'analyse quand il hésite entre deux segmentations différentes pour interpréter un symbole. Par exemple, dans un plan d'architecture, une ambigüité structurelle peut être levée pour trouver la bonne segmentation des primitives entre un mur et un ouvrant (porte, fenêtre, etc.). L'ambigüité de forme est levée s'il existe plusieurs hypothèses concurrentes pour étiqueter un symbole, par exemple une ambigüité entre une porte et une fenêtre. L'intégration de l'utilisateur dans la boucle de reconnaissance évite une correction a posteriori fastidieuse des erreurs de reconnaissance tout en permettant d'avoir un système auto-évolutif au fur et à mesure de l'analyse. Le processus de reconnaissance est basé sur une séparation de l'analyseur et des connaissances liées au type de document à reconnaître. Les connaissances structurelles a priori du document sont exprimées à travers un langage visuel grammatical basé sur l'écriture de règles de production. L'application de chaque règle est quantifiée par l'attribution d'un score à chaque hypothèse sous tendue par une branche de l'arbre d'analyse. La description grammaticale ainsi produite permet de piloter l'analyseur. Notre analyseur à base de règles est capable de mettre en concurrence des hypothèses possibles d'interprétation, afin de solliciter l'utilisateur lorsque c'est nécessaire. De plus, afin de limiter la combinatoire, l'analyseur se base sur un contexte local de recherche. Nous avons également mis en place un processus d'exploration hybride original, guidé par la description grammaticale, qui permet d'accélérer localement l'analyse tout en limitant le risque de réaliser une fausse interprétation. Notre méthode interactive a été validée sur les plans d'architecture dessinés à main levée. Ces plans sont composés de murs, de trois types d'ouvrants et d'une dizaine de classes de mobilier. Ces travaux montrent que la sollicitation de l'utilisateur permet d'améliorer la qualité de reconnaissance des documents.
Loading...