Some contributions to AutoML : hyper-parameter optimization and meta-learning
Contributions à AutoML : optimisation des hyper-paramètres et méta-apprentissage
Résumé
This thesis proposes three main contributions to advance the state-of-the-art of AutoML approaches. They are divided into two research directions: optimization (first contribution) and meta-learning (second and third contributions). The first contribution is a hybrid optimization algorithm, dubbed Mosaic, leveraging Monte-Carlo Tree Search and Bayesian Optimization to address the selection of algorithms and the tuning of hyper-parameters, respectively. The empirical assessment of the proposed approach shows its merits compared to Auto-sklearn and TPOT AutoML systems on OpenML 100. The second contribution introduces a novel neural network architecture, termed Dida, to learn a good representation of datasets (i.e., metafeatures) from scratch while enforcing invariances w.r.t features and rows permutations. Two proofof-concept tasks (patch classification and performance prediction tasks) are considered. The proposed approach yields superior empirical performance compared to Dataset2Vec and DSS on both tasks. The third contribution addresses the limitation of Dida on handling standard dataset benchmarks. The proposed approach, called Metabu, relies on hand-crafted meta-features. The novelty of Metabu is two-fold: i) defining an "oracle" topology of datasets based on top-performing hyper-parameters; ii) leveraging Optimal Transport approach to align a mapping of the handcrafted meta-features with the oracle topology. The empirical results suggest that Metabu metafeature outperforms the baseline hand-cr afted meta-features on three different tasks (assessing meta-features based topology, recommending hyper-parameters w.r.t topology, and warmstarting optimization algorithms).
Cette thèse présente trois principales contributions afin d’améliorer l’état de l’art de ces approches AutoML. Elles sont divisées entre deux thèmes de recherche: l’optimisation et meta-apprentissage. La première contribution concerne un algorithme d’optimisation hybride, appelé Mosaic, qui exploite les méthodes MCTS et optimisation bayésienne pour résoudre respectivement la sélection des algorithmes et la configuration des hyperparamètres. L’évaluation, conduite à travers le benchmark OpenML 100, montre que la performance empirique de Mosaic surpasse ceux des systèmes d’AutoML de l’état de l’art (Auto-Sklearn et TPOT). La deuxième contribution introduit une architecture de réseau neuronal, appelée Dida, qui permet d’apprendre des descripteurs de données invariants à la permutation de colonnes et d’exemples. Deux tâches (classification des patchs et prédiction des performances sont considérées lors de l’évaluation de la méthode. Les résultats de Dida sont encourageants comparés à ceux de ses concurrents (Dataset2 vvec et DSS). Enfin, la troisième contribution, intitulée Metabu, vise à surmonter les limites de Dida à opérer sur de vrais jeux de données d’AutoML. La stratégie de Metabu comporte deux étapes. Tout d’abord, une topologie idéale de ces jeux de données, basée sur les meilleurs hyperparamètres, est définie. Puis, une transformation linéaire d es descripteurs manuels est apprise pour les aligner, selon un critère de transport optimal, avec la représentation idéale. Les comparaisons empiriques montrent que les descripteurs Metabu sont plus performants que les descripteurs manuels sur trois problèmes différents (évaluation du voisinage des jeux de données, recommandation d’hyperparamètres, et initialisation d’un algorithme d’optimisation).
| Origine | Version validée par le jury (STAR) |
|---|