Contributions to the theoretical analysis of statistical learning and uncertainty quantification methods
Contributions à l'analyse théorique de méthodes d'apprentissage statistique et de quantification de l'incertitude
Résumé
Modern data analysis provides scientists with statistical and machine learning algorithms with impressive performance. In front of their extensive use to tackle problems of constantly growing complexity, there is a real need to understand the conditions under which algorithms are successful or bound to fail. An additional objective is to gain insights into the design of new algorithmic methods able to tackle more innovative and challenging tasks. A natural framework for developing a mathematical theory of these methods is extit{nonparametric inference}. This area of Statistics is concerned with inferences of unknown quantities of interest under minimal assumptions, less restrictive than classical (parametric) statistics. The common thread is infinite-dimensional statistical modeling of a parameter on the data-generating mechanism. This flexibility is all the more appealing as we seek reliable algorithms under a wide range of settings, and the progress of data acquisition techniques results in massive and complex datasets. This last point prompts us to conduct an asymptotic analysis, which is a traditional approach to assessing the performance of learning procedures. In this thesis, we consider both problems of function estimation and uncertainty quantification.The first class of algorithms we deal with are Bayesian tree-based methods. They are based on a `divide-and-conquer’ principle, partitioning a sample space to estimate the parameter locally. In regression, these methods include BCART and the renowned BART, the later being an ensemble of trees or a forest. In density estimation, the famous Pólya Tree prior exemplifies these methods and is the building block of a myriad of related constructions. We propose a new extension, DPA, that is a `forest of PTs’ and is shown to attain minimax contraction rates adaptively in Hellinger distance for arbitrary Hölder regularities. Adaptive rates in the stronger supremum norm are also obtained for the flexible Optional Pólya Tree (OPT) prior, a BCART-type prior, for regularities smaller than one. Gaussian processes are another popular class of priors studied in Bayesian nonparametrics and Machine Learning. Motivated by the ever-growing size of datasets, we propose a new horseshoe Gaussian process with the aim to adapt to leverage a data structure of smaller dimension. First, we derive minimax optimal contraction rates for its tempered posterior. Secondly, deep Gaussian processes are Bayesian counterparts to the famous deep neural networks. We prove that, as a building block in such a deep framework, it also gives optimal adaptive rates under compositional structure assumptions on the parameter. As for uncertainty quantification (UQ), Bayesian methods are often praised for the principled solution they offer with the definition of credible sets. We prove that OPT credible sets are confidence sets with good coverage and size (in supremum norm) under qualitative self-similarity conditions. Moreover, we conduct a theoretical study of UQ in Wasserstein distances Wp, uncovering a new phenomenon. In dimensions smaller than 4, it is possible to construct confidence sets whose Wp, p>1 adapt to any regularities (with no qualitative assumptions). This starkly contrasts the usual Lp theory, where concessions always have to be made.
L'analyse moderne des données fournit aux scientifiques des algorithmes statistiques et d'apprentissage automatique aux performances impressionnantes. Face à leur utilisation intensive pour traiter des problèmes dont la complexité ne cesse de croître, il existe un réel besoin de comprendre les conditions dans lesquelles ceux-ci fonctionnent ou sont voués à l'échec. Un objectif supplémentaire est d'obtenir des pistes pour la conception de nouvelles méthodes algorithmiques capables de s'attaquer à des tâches toujours plus innovantes et complexes. Un cadre naturel pour développer une théorie mathématique de ces méthodes est celui de l'inférence non-paramétrique. Ce domaine de la statistique s'intéresse à l'inférence de quantités inconnues sous des hypothèses minimales, moins restrictives qu'en statistique paramétrique. À la base de cette théorie est la modélisation statistique en dimension infinie d'une quantité paramétrant la loi des données. Cette flexibilité est d'autant plus intéressante que nous recherchons des algorithmes fiables dans un large éventail de contextes, et que les progrès des techniques d'acquisition de données génèrent désormais des ensembles de données massifs et complexes. Ce dernier point nous incite à mener une analyse asymptotique, qui est une approche traditionnelle pour évaluer la performance des procédures d'apprentissage. Nous étudions ici des problèmes d'estimation et de quantification de l'incertitude (QI).La première classe d'algorithmes que nous traitons est celle des méthodes bayésiennes basée sur des structures d'arbres. Elles reposent sur le principe de 'diviser pour mieux régner', en partitionnant l'espace des données pour estimer le paramètre localement. En régression, ces méthodes incluent BCART et BART, cette dernière étant un ensemble d'arbres ou forêt. En estimation de densité, les arbres de Pólya sont un exemple de telles lois a priori et constituent la base d'une myriade de constructions connexes. Nous proposons une nouvelle extension, DPA, qui est une "forêt de Pólya" et permet d'atteindre des vitesses de contraction minimax, de manière adaptative, en distance de Hellinger pour des régularités de Hölder arbitraires. Des vitesses adaptatives dans la norme infinie sont également obtenues pour la loi a priori des arbres de Pólya optionnel (OPT), similaire à BCART en régression, pour des paramètres au plus Lipschitz régulier. Les processus gaussiens sont une autre classe populaire de lois étudiées en statistique bayésienne nonparamétrique et en apprentissage automatique. Motivés par la taille toujours croissante des bases de données, nous proposons un nouveau processus gaussien 'horseshoe' avec une couche de sélection de variables 'soft' pour pouvoir tirer parti d'une dimension des données plus petite que celle de l'espace ambiant. Nous dérivons des vitesses de contraction optimales pour les loi a posteriori tempérée. Les processus gaussiens profonds sont les homologues bayésiens des célèbres réseaux neuronaux profonds. Nous prouvons que, en tant qu'élément de base dans une telle construction, il donne également des vitesses adaptatives sous des hypothèses de structure de composition du paramètre. En ce qui concerne la QI, les méthodes bayésiennes sont souvent louées pour la solution qu'elles fournissent avec la définition des ensembles de crédibilité. Nous prouvons que ces ensembles construits sous OPT sont des ensembles de confiance avec un bon niveau de confiance et une bonne taille en norme infine sous des conditions qualitatives d'auto-similarité. De plus, nous menons une étude théorique de l'QI pour les distances de Wasserstein Wp et mettons en lumière un nouveau phénomène. En dimensions inférieures à 4, il est toujours possible de construire des ensembles de confiance dont les rayons en distance Wp, p>1, s'adaptent à n'importe quelles régularités (sans hypothèses qualitatives). Cela contraste fortement avec la théorie habituelle en norme Lp, où des concessions doivent être faites.
| Origine | Version validée par le jury (STAR) |
|---|