Thèse Année : 2025

Deep learning methods for object pose estimation and reconstruction in industrial environments

Méthodes d'apprentissage profond pour l'estimation de la position et la reconstruction d'objets en environnement industriel

Résumé

This thesis addresses the challenge of implementing markerless Augmented Reality (AR) in manufacturing environments, focusing on boiler assembly lines. While AR technology shows great promise for improving industrial efficiency through operator training and assistance, its adoption has been limited by difficulties in handling complex production environments. Traditional approaches using markers become impractical when scaling across entire production lines, especially with dynamic objects and assembly structures.Through systematic investigation of various computer vision approaches, from lightweight neural networks to advanced 3D reconstruction techniques, our work culminates in an innovative end-to-end pipeline that combines neural rendering and zero-shot pose estimation techniques. This solution enables markerless AR without requiring extensive manual annotations or pre-existing 3D models, addressing key barriers to industrial AR adoption.The proposed approach demonstrates robust performance across different boiler models and assembly stages, achieving remarkable results in real production conditions. Our contributions extend beyond technical implementation to include valuable insights for deploying computer vision solutions in industrial settings, paving the way for more widespread adoption of AR technology in Industry 4.0 manufacturing environments.

Cette thèse aborde les défis relatifs à la mise en œuvre du placement et de l'alignement du contenu virtuel sans marqueurs pour la Réalité Augmentée (RA) dans des environnements industriels d'assemblage de chaudières. Malgré les potentiels bénéfices de la RA pour l'industrie, incluant une production accrue ainsi qu'une formation interactive et plus efficiente des opérateurs, son utilisation reste limitée dans les environnements de production complexes. Une des limitations technologiques réside dans l'incapacité des approches traditionnelles d'alignement du contenu virtuel, tirant parti de marqueurs physiques, à opérer sur des lignes de production entières, notamment, lorsqu'elles sont composées d'objets d'intérêt ou de structures d'assemblage mobiles. À travers l'investigation de diverses approches de vision par ordinateur, notre travail aboutit au développement d'une pipeline innovante combinant les Neural Radiance Fields et les méthodes d'estimation de position 6D dites « zero-shot ». Cette solution permet l'alignement du contenu virtuel sans marqueurs et sans nécessiter de données d'entraînement labellisées ni de modèles CAD préexistants. L'approche proposée démontre des performances robustes sur différents modèles de chaudières et étapes d'assemblage. Nos contributions vont au-delà de la mise en œuvre technique pour inclure des idées concernant le déploiement pratique de solutions de vision par ordinateur dans des environnements industriels, ouvrant la voie à une adoption plus généralisée de la RA dans le contexte de l'industrie 4.0.

Fichier principal
Vignette du fichier
123615_DURCHON_2025_archivage_final2.pdf (10.89 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05042676 , version 1 (22-04-2025)

Licence

Identifiants

  • HAL Id : tel-05042676 , version 1

Citer

Hugo Durchon. Deep learning methods for object pose estimation and reconstruction in industrial environments. Machine Learning [cs.LG]. Institut Polytechnique de Paris, 2025. English. ⟨NNT : 2025IPPAS003⟩. ⟨tel-05042676⟩
309 Consultations
838 Téléchargements

Partager

  • More