Structured Prediction with Output Regularization : Improving Statistical and Computational Efficiency
Prédiction structurée avec régularisation de sortie : améliorer les performances statistiques et computationnelles
Résumé
Supervised learning algorithms aims at identifying relationship between inputs and outputs thanks to training sets of couples (input, output). The most studied setting of supervised learning deals with high-dimensional inputs but low-dimensional outputs, as, for example, real numbers in the case of regression, and the values zero or one in the case of binary classification. Nevertheless, being able to predict complex outputs, as graphs, sequences, or images, allows for addressing much more practical tasks. This is the so-called structured output prediction setting. The question that has motivated this thesis is the following: How to take advantage of the structure of the output space in order to obtain statistically and computationally efficient structured prediction methods? We try to answer this question through the lens of the structured prediction framework of surrogate methods. More precisely, this manuscript starts by considering the problem of graph prediction. We propose to leverage the Gromov-Wasserstein (GW) distance, carrying a natural geometry for graph spaces, as a loss function. From this idea, we derive a new family of models for graph prediction: GW barycentric models. In a second contribution, we propose a generalization of reduced-rank regression which allows handling non-linear output spaces. It consists in solving the surrogate regression problems appearing in surrogate methods thanks to a reduced-rank regression estimator. We carry out a theoretical study of the reduced-rank estimator, taking values in a Hilbert space of possibly infinite dimension, and prove under output regularity assumptions that the rank regularization is statistically and computationally beneficial. Our results extend the interest of reduced-rank regression beyond the standard setting where the optimum is assumed to be low-rank. In a third contribution, we propose the principle of loss regularization. The method aims at obtaining a statistical and computational gain in structured prediction, by exploiting additional output data, and regularity information on the loss function. We study theoretically under which setting the method is beneficial. Our results show, intuitively, that one had better adapt the level of detail of the structured outputs predicted with respect to the quantity of training data, to reduce the effects of the output variance (or labeling noise), and also to alleviate the computational complexity of the pre-image in surrogate methods.
Les algorithmes d'apprentissage supervisé visent à identifier des relations entre des entrées et des sorties grâce à des jeux d'entraînement constitués de couples (entrée, sortie). La situation d'apprentissage supervisé la plus étudiée considère des entrées de grande dimension et des sorties de faible dimension, comme les nombres réels dans le cas de la régression, et les valeurs zéro ou un dans le cas de la classification binaire. Néanmoins, être capable de prédire des sorties complexes, comme des graphes, des séquences ou des images, permet de résoudre plus de tâches en pratique. C'est le problème traité par la prédiction structurée. La question qui a motivé cette thèse est la suivante : comment tirer parti de la structure de l'espace de sortie pour obtenir des méthodes de prédiction structurée statistiquement et computationnellement performantes ? Nous essayons de répondre à cette question à travers le prisme des méthodes de substitution pour la prédiction structurée. Plus précisément, ce manuscrit commence par considérer le problème de la prédiction de graphes. Nous proposons de mettre à profit la distance de Gromov-Wasserstein (GW), définissant une géométrie naturelle pour les espaces de graphes, en tant que fonction de perte, donnant lieu à une nouvelle famille de modèles pour la prédiction de graphes : les modèles barycentriques de GW. Dans une deuxième contribution, nous proposons de généraliser la régression à rang réduit aux espaces de sortie non linéaires. La méthode proposée consiste à résoudre les problèmes de régression des méthodes de substitution grâce à un estimateur de régression à rang réduit. Nous menons une étude théorique de l'estimateur de rang réduit proposé, et prouvons sous des hypothèses de régularité de sortie que la régularisation de rang est statistiquement et computationnellement bénéfique. En particulier, nos résultats étendent l'intérêt de la régression à rang réduit au-delà du cas standard où l'optimum est supposé de rang fini et faible. Dans une troisième contribution, nous proposons un principe de régularisation de la fonction de perte. La méthode proposée vise à obtenir des gains statistique et computationnel en prédiction structurée, grâce à l'exploitation de données de sortie supplémentaires et des informations de régularité sur la fonction de perte. Nous étudions théoriquement dans quelle situation la méthode est en effet bénéfique. Nos résultats montrent qu'il est bénéfique d'adapter le niveau de détail des objets structurés prédits, en fonction de la quantité de données d'entraînement disponible, pour réduire les effets de la variance de sortie (ou du bruit d'étiquetage) d'une part, et pour alléger la complexité computationnelle de la prédiction d'autre part.
| Origine | Version validée par le jury (STAR) |
|---|