A Generic, Efficient, and Interactive Approach to Image Processing with Applications in Mathematical Morphology
Une approche générique, performante, et interactive du traitement d’images avec des applications en morphologie mathématique
Résumé
Image processing libraries play an important role in the researcher toolset and should respect three criteria: genericity, performance, and interactivity. In short, genericity boosts code reuse and algorithm flexibility for various data inputs, while performance speeds up experiments and supports real-time applications. Additionally, interactivity allows software evolution and maintenance without full recompilation, often through integration with dynamic languages like Python or Julia. The first two criteria are not straightforward to reach with static languages such as C++ or Rust which require knowing some information at compile time to optimize generated machine code related to the different input and output data types of an algorithm. The latest criterion usually requires waiting until runtime to obtain type information and is thus performed at the cost of runtime efficiency. The work presented in this thesis aims to go beyond this limitation in the context of image processing algorithms. To do so, a methodology to develop generic algorithms whose type information about its input and output data may be known either at compile-time or at runtime is presented. This methodology is evaluated on different image processing algorithmic schemes, and it is concluded that the performance gap between the runtime and compile-time versions of the construction algorithm for hierarchical representations of images is negligible. As an application, hierarchical representations are employed to expand the applicability of grayscale noise level estimation to color images to enhance its genericity. That raises the importance of studying the impact of such corruption in the hierarchies built on noisy images to improve their efficiency in the presence of noise. It is demonstrated that the noise has an impact on the tree structure, and this impact is related to some kinds of functional in the context of energy optimization on hierarchies.
Les bibliothèques de traitement d’images jouent un rôle important dans la boîte à outils du chercheur et devraient respecter trois critères : généricité, performance et interactivité. La généricité favorise la réutilisation du code et la flexibilité des algorithmes pour diverses structures de données en entrée, tandis que la performance accélère les expériences et permet l’utilisation d’algorithmes dans le cas d’applications en temps réel. De plus, l’interactivité dans la chaîne de traitement d’une image permet d’effectuer des expérimentations en échangeant des données avec cette dernière. Ce dernier critère est généralement obtenu en ajoutant du dynamisme à la bibliothèque, et plus particulièrement en interfaçant ses fonctionnalités à un langage dynamique. Les deux premiers critères peuvent être atteints avec des langages statiques tels que C++ ou Rust, qui exigent la connaissance de certaines informations au moment de la compilation pour optimiser le code machine généré en fonction des différents types de données d’entrée et de sortie d’un algorithme. Le dernier critère nécessite généralement d’attendre jusqu’à l’exécution pour obtenir des informations sur le type, et est donc réalisé au détriment de la vitesse d’exécution. Le travail présenté dans cette thèse vise à dépasser cette limitation dans le contexte d’algorithmes de traitement d’images. Pour ce faire, une méthodologie visant à développer des algorithmes génériques dont les informations sur les types d’entrée et de sortie peuvent être connues soit au moment de la compilation, soit à l’exécution, est présentée. Cette méthode est évaluée sur différents schémas algorithmiques de traitement d’images, et il est conclu que l’écart de performance entre les versions où l’information de type est connu à la compilation et à l’exécution de l’algorithme de construction pour les représentations hiérarchiques d’images est négligeable. En tant qu’application, les représentations hiérarchiques sont utilisées pour étendre l’applicabilité de l’estimation du niveau de bruit en niveaux de gris aux images en couleur afin d’améliorer leur caractère générique. Cela soulève l’importance d’étudier l’impact d’une telle altération dans les images à partir desquelles les représentations hiérarchiques sont construites pour améliorer l’efficacité de leurs applications en présence de bruit. Il est démontré que le bruit a un impact sur la structure arborescente, et cet impact est lié à certains types de fonctionnelles dans le cas où les hiérarchies sont contraintes par une énergie.
| Origine | Version validée par le jury (STAR) |
|---|