Discrete determinantal point processes and their application to image processing
Processus ponctuels déterminantaux discrets et leur application au traitement des images
Résumé
Determinantal point processes (DPPs in short) are probabilistic models that capture negative correlations or repulsion within a set of elements. They tend to generate diverse or distant subsets of elements. This notion of similarity or proximity between elements is defined and stored in the kernel associated with each DPP. This thesis studies these models in a discrete framework, defined on a discrete and finite set of elements. We are interested in their application to image processing, when the initial set of points corresponds to the pixels or the patches of an image. Chapter 1 and 2 introduce determinantal point processes in a general discrete framework, their main properties and the algorithms usually used to sample them, i.e. used to select a subset of points distributed according to the chosen DPP. In this framework, the kernel of a DPP is a matrix. The main algorithm is a spectral algorithm based on the computation of the eigenvalues and the eigenvectors of the DPP kernel. In Chapter 2, we present a sampling algorithm based on a thinning procedure and a Cholesky decomposition but which does not require the spectral decomposition of the kernel. This algorithm is exact and, under certain conditions, competitive with the spectral algorithm. Chapter 3 studies DPPs defined over all the pixels of an image, called Determinantal Pixel Processes (DPixPs). This new framework imposes periodicity and stationarity assumptions that have consequences on the kernel of the process and on properties of the repulsion generated by this kernel. We study this model applied to Gaussian textures synthesis, using shot noise models. In this chapter, we are also interested in the estimation of the DPixP kernel from one or several samples. Chapter 4 explores DPPs defined on the set of patches of an image, that is the family of small square images contained in the image. The aim is to select a proportion of these patches, diverse enough to be representative of the information contained in the image. Such a selection can speed up certain patch-based image processing algorithms, or even improve the quality of existing algorithms that require patch subsampling. We present an application of this question to a texture synthesis algorithm.
Les processus ponctuels déterminantaux (Determinantal Point Processes ou DPP en anglais) sont des modèles probabilistes qui modélisent les corrélations négatives ou la répulsion à l'intérieur d'un ensemble d'éléments. Ils ont tendance à générer des sous-ensembles d'éléments diversifiés ou éloignés les uns des autres. Cette notion de similarité ou de proximité entre les points de l'ensemble est définie et conservée dans le noyau associé à chaque DPP. Cette thèse étudie ces modèles dans un cadre discret, définis dans un ensemble discret et fini d'éléments. Nous nous sommes intéressés à leur application à des questions de traitement d'images, lorsque l'ensemble de points de départ correspond aux pixels ou aux patchs d'une image. Les Chapitres 1 et 2 introduisent les processus ponctuels déterminantaux dans un cadre discret général, leurs propriétés principales et les algorithmes régulièrement utilisés pour les échantillonner, c'est-à-dire pour sélectionner un sous-ensemble de points distribué selon le DPP choisi. Dans ce cadre, le noyau d'un DPP est une matrice. L'algorithme le plus utilisé est un algorithme spectral qui repose sur le calcul des valeurs propres et des vecteurs propres du noyau du DPP. Dans le Chapitre 2, nous présentons un algorithme d'échantillonnage qui repose sur une procédure de thinning (ou amincissement) et sur une décomposition de Cholesky mais qui n'a pas besoin de la décomposition spectrale du noyau. Cet algorithme est exact et, sous certaines conditions, compétitif avec l'algorithme spectral. Le Chapitre 3 présente les DPP définis sur l'ensemble des pixels d'une image, appelés processus pixelliques déterminantaux (Determinantal Pixel Processes ou DPixP en anglais). Ce nouveau cadre impose des hypothèses de périodicité et de stationnarité qui ont des conséquences sur le noyau du processus et sur les propriétés de répulsion générée par ce noyau. Nous étudions aussi ce modèle appliqué à la synthèse de textures gaussiennes, grâce à l'utilisation de modèles shot noise. Nous nous intéressons également à l'estimation du noyau de DPixP à partir d'un ou plusieurs échantillons. Le Chapitre 4 explore les processus ponctuels déterminantaux définis sur l'ensemble des patchs d'une image, c'est-à-dire la famille des sous-images carrées d'une taille donnée dans une image. L'objectif est de sélectionner une proportion de ces patchs, suffisamment diversifiée pour être représentative de l'information contenue dans l'image. Une telle sélection peut permettre d'accélérer certains algorithmes de traitements d'images basés sur les patchs, voire d'améliorer la qualité d'algorithmes existants ayant besoin d'un sous-échantillonnage des patchs. Nous présentons une application de cette question à un algorithme de synthèse de textures.
| Origine | Version validée par le jury (STAR) |
|---|