Automated Deep Learning : Principles and Practice
Apprentissage profond automatisé : principes et pratique
Résumé
Automated Machine Learning (AutoML) aims at rendering the application of machine learning (ML) methods as devoid of human intervention as possible. This ambitious goal has been the object of much research and engineering since the outset of ML. The objective of this thesis is to put a formal framework around this multi-faceted problem, to benchmark existing methods, and to explore new directions. To formulate the AutoML problem in a rigorous way, we first introduce a mathematical framework that: (1) categorizes all involved algorithms into three levels (alpha, beta and gamma levels); (2) concretely defines the concept of a task (especially in a supervised learning setting); (3) formally defines HPO and meta-learning; (4) introduces an any-time learning metric that allows to evaluate learning algorithms by not only their accuracy but also their learning speed, which is crucial in settings such as hyperparameter optimization (including neural architecture search) or meta-learning. This mathematical framework unifies different sub-fields of ML (e.g. transfer learning, meta-learning, ensemble learning), allows us to systematically classify methods, and provides us with formal tools to facilitate theoretical developments (e.g. the link to the No Free Lunch theorems) and future empirical research. In particular, it serves as the theoretical basis of a series of challenges that we organized. Indeed, our principal methodological approach to tackle AutoML with Deep Learning has been to set up an extensive benchmark, in the context of a challenge series on Automated Deep Learning (AutoDL), co-organized with ChaLearn, Google, and 4Paradigm. These challenges provide a benchmark suite of baseline AutoML solutions with a repository of around 100 datasets, over half of which are released as public datasets to enable research on meta-learning. At the end of these challenges, we carried out extensive post-challenge analyses which revealed that: (1) Winning solutions generalize to new unseen datasets, which validates progress towards universal AutoML solution; (2) Despite our effort to encourage generic solutions, the participants adopted specific workflows for each modality; (3) Any-time learning was addressed successfully, without sacrificing final performance; (4) Although some solutions improved over the provided baseline, it strongly influenced many; (5) Deep learning solutions dominated, but Neural Architecture Search was impractical within the time budget imposed; (6) Ablation studies revealed the importance of meta-learning, ensembling, and efficient data loading, while data-augmentation is not critical. All code and data are available at autodl.chalearn.org. Besides the introduction of a novel general formulation of the AutoML problem, setting up and analyzing the AutoDL challenge, the contributions of this thesis include: (1) Developing our own solutions to the problems we posed to the participants. Our work GramNAS tackles the neural architecture search (NAS) problem by using a formal grammar to encode neural architectures. Two alternative search strategies have been experimentally investigated: one based on Monte-Carlo Tree Search (MCTS), which achieves 94% accuracy on CIFAR-10 dataset, and another one based on an evolutionary algorithm which beats state-of-the-art packages AutoGluon and AutoPytorch on 4 large well-known datasets; (2) Laying the basis for a future challenge on meta-learning. The AutoDL challenge series revealed the importance of meta-learning but the challenge setting did not evaluate meta-learning properly. With an intern, we experiment with various meta-learning challenge protocols; (3) Making several theoretical contributions. During the course of this thesis, several collaborations were entered to tackle problems of transfer learning and expressiveness of neural networks. Investigations on the Universal Approximation Theorem helped us understand theoretical guarantee behind Deep Learning systems we deploy.
L'apprentissage automatique automatisé (AutoML) vise à rendre l'application des méthodes d'apprentissage automatique (ML) aussi dépourvue d'intervention humaine que possible. Cet objectif ambitieux a fait l'objet de nombreuses recherches depuis les débuts du ML. L'objectif de cette thèse est de mettre un cadre formel autour de ce problème aux multiples facettes, de comparer les méthodes existantes et d'explorer de nouvelles directions. Pour formuler le problème AutoML de manière rigoureuse, nous introduisons d'abord un cadre mathématique qui: (1) catégorise tous les algorithmes impliqués en trois niveaux (niveaux alpha, beta et gamma); (2) définit concrètement le concept de tâche (en particulier dans un cadre d'apprentissage supervisé); (3) définit formellement HPO et méta-apprentissage; (4) introduit une métrique d'any-time learning qui permet d'évaluer les algorithmes d'apprentissage non seulement par leur précision, mais également par leur vitesse d'apprentissage. Ce cadre mathématique unifie différents sous-domaines du ML, nous permet de classer systématiquement les méthodes et nous fournit des outils formels pour faciliter les développements théoriques et de futures recherches empiriques. En particulier, il sert de base théorique à une série de challenges que nous avons organisés. En effet, notre principale approche méthodologique pour aborder AutoML avec Deep Learning a été de mettre en place un benchmark étendu, dans le cadre d'une série de challenges sur l'Automated Deep Learning (AutoDL). Ces challenges fournissent une suite de référence de solutions AutoML de base avec un référentiel d'environ 100 datasets, dont plus de la moitié sont publiés sous forme de datasets publics pour permettre la recherche sur le méta-apprentissage. À la fin de ces challenges, nous avons effectué des analyses post-challenge approfondies qui ont révélé que : (1) les solutions gagnantes se généralisent à de nouveaux datasets invisibles, ce qui valide les progrès vers la solution universelle AutoML ; (2) Malgré nos efforts pour encourager des solutions génériques, les participants ont adopté des flux de travail spécifiques pour chaque modalité ; (3) L'any-time learning a été abordé avec succès, sans sacrifier la performance finale ; (4) Bien que certaines solutions se soient améliorées par rapport à la baseline fournie, elles en ont fortement influencé plusieurs ; (5) Les solutions d'apprentissage en profondeur dominaient, mais la recherche d'architecture neuronale n'était pas pratique dans les délais impartis ; (6) Les études d'ablation ont révélé l'importance du méta-apprentissage, de l'assemblage et du chargement efficace des données, tandis que l'augmentation des données n'est pas critique. Tous les codes et données sont disponibles sur autodl.chalearn.org. Outre l'introduction d'une nouvelle formulation générale du problème AutoML, la mise en place et l'analyse du challenge AutoDL, les contributions de cette thèse comprennent : (1) Développer nos propres solutions aux problèmes que nous avons posés aux participants. Notre travail GramNAS s'attaque au problème de la recherche d'architecture neuronale (NAS) en utilisant une grammaire formelle pour encoder les architectures neuronales. Deux stratégies de recherche alternatives ont été étudiées expérimentalement: une basée sur Monte-Carlo Tree Search (MCTS), qui atteint une précision de 94% sur le dataset CIFAR-10, et une autre basée sur un algorithme évolutif qui bat les packages de pointe AutoGluon et AutoPytorch sur 4 grands datasets bien connus ; (2) Former la base d'un futur challenge sur le méta-apprentissage ; (3) Apporter plusieurs contributions théoriques. Au cours de cette thèse, plusieurs collaborations ont été engagées pour aborder les problèmes de transfer learning et d'expressivité des réseaux de neurones. Les enquêtes sur le théorème d'approximation universelle nous ont aidés à comprendre la garantie théorique derrière les systèmes d'apprentissage profond que nous déployons.
| Origine | Version validée par le jury (STAR) |
|---|