Deep learning applied to multi-component imagery for variety testing problems
Deep learning appliqué à l’imagerie multicomposante pour des problématiques de test de variétés
Résumé
The thesis proposes original methodological contributions based on computer vision and machine learning techniques to the variety testing research. Variety testing consists in performing measurements to validate the quality and originality of any new variety before allowing its commercialization. The current tests are essentially the result of visual inspections, and digital phenotyping is not common. The work of this PhD has focused on developing automated variety testing methods for crops. We build new multi component imaging systems based on low-cost sensors and deep learning networks. In the first part, we explore the potential of multi-component RGB-Depth sensors in variety testing, which provide trichromacy and distance informations from the plants to the camera. Early, intermediate, and late fusion son these components are examined using a convolutional, local memory and transformer neural network. We demonstrate the benefits of the distance map, especially for estimating the kinetics of the individual developmental stages of seedlings during the daytime and nighttime. Then, we explore the same approaches of RGB-Depth imaging for detecting developmental stages in small plots as textures. In the second part, we address the issue of the possible transfer learning of traits measured in controlled environments (growth chamber, phytotron) to less controlled environments (greenhouses or fields). To do so, we revisit the detection of seedling development stages. Furthermore, a data augmentation method simulating shadows is proposed and shows interest in transfer learning approaches in greenhouses and the field. Lastly, using synthetic data for transfer learning is proposed. In the third part, we develop an optimized multispectral camera for detecting and quantifying disease in plant resistance tests. Each step is detailed and validated on an image dataset acquired during three seasons. A global pipeline is presented, including deep learning and classical machine learning methods. An opening toward the automatic determination of acquisition protocol is proposed in Annex A. Additionally to our methodological contributions, we provided various computer tools. We developed software to process RGB-Depth image sequences for stage detection, measuring plant heights in realtime, etc. Furthermore, we provided annotated databases and generated trained models.
La thèse propose des contributions méthodologiques originales basées sur la vision par ordinateur et des méthodes apprentissage automatique pour le domaine de tests des variétés. Les systèmes d’imagerie pour les plantes sont développée ces dernières années en direction du phénotypage pour des expérimentations en milieu contrôlé ainsi que pour le domaine de l’agriculture. Le domaine de tests des variétés consiste à réaliser des mesures pour valider la qualité et l’originalité de toute nouvelle variété avant d’autoriser sa commercialisation. Jusqu’ici, il a été peu étudié au moyen d’outils numériques et les tests actuels sont essentiellement le résultat des inspections visuelles. Les travaux de la thèse se sont concentrés sur le test des variétés pour des grandes cultures. Sur un plan méthodologique, nous investiguons l’usage des systèmes d’imageries multicomposantes avec des capteurs à bas-coût et des méthodes d’apprentissage par réseaux de neurones profonds. Dans une première partie, nous explorons le potentiel de capteurs multicomposantes RGB Depth en test des variétés qui fournissent une information de trichromacie et de distance des plantes à la caméra. Les fusions précoce, intermédiaire et tardive de ces composantes dans un réseau de neurones par convolution ou à mémoire locale ou de type « transformer » sont examinées. Nous montrons la valeur ajoutée de la carte de distance notamment pour estimer les cinétiques des stades de développement individuels de plantules le jour comme la nuit. Ensuite, nous explorons les mêmes approches d’imagerie RGB-Depthpour la détection de stades de développement collectifs dans des petites parcelles sous la forme de textures. Dans une seconde partie, nous abordons la question du possible transfert de connaissance de traits mesurés en milieux contrôlés (chambre de culture, phytotron) vers des milieux moins contrôlés (serres ou champs). Nous revisitons pour ce faire la détection de stades de développement de plantules. Une méthode d’augmentation de données simulant des ombres est proposée et montre son intérêt pour des approches d’apprentissage par transfert en serres comme au champ. Une ouverture vers l’usage de données de synthèse pour de l’apprentissage par transfert est pro posée. Dans une troisième partie, nous développons une imagerie multispectrale optimisée pour la détection et quantification de pathologies dans des tests de résistance aux maladies. Chaque étape est détaillée et validée sur des expérimentations qui s’étalent sur plus de trois saisons. Un pipeline complet est présenté incluant à nouveau des éléments d’apprentissage profond et d’apprentissage machine classique. Une ouverture vers la détermination automatique de protocole d’acquisition est proposée en annexe. En plus de nos contributions méthodologiques, nous avons fourni des outils informatiques. Nous avons développé un logiciel pour traiter les séquences d’images RGB-Depth pour détection des stades de développement, mesurés la hauteur des plantes en temps réel, séparés les génotypes automatiquement, etc. Et aussi nous avons mis en disposition des bases de données annotées et des modèles entrainés.
| Origine | Version validée par le jury (STAR) |
|---|