Diverse and efficient ensembling of deep networks
De la diversification et combinaison efficace des réseaux profonds
Résumé
This thesis aims at enhancing the generalization abilities of deep neural networks, a critical step towards fair and reliable artificial intelligence. Specifically, we address the drop in performance when models are evaluated on test samples with a distribution shift with respect to the train samples. To this end, we focus on ensembling strategies: indeed, combining multiple models is a standard, simple yet potent strategy to improve robustness. After an overview of the relevant literature, we provide a new explanation of ensembling's success under distribution shifts, especially when the members of the ensemble are diverse. To foster such diversity within members, we investigate several strategies. The initial one, DICE, introduces an explicit regularization to eliminate redundant information across members. Subsequent diversity methods in this thesis are implicit, relying on diverse data augmentation (in MixMo), diverse hyperparameters (in DiWA), inter-training on auxiliary datasets (in ratatouille), and diverse objectives (in rewarded soups). The second primary challenge addressed in this thesis is the enhancement of ensemble efficiency, and aims at lessening the computational burden of combining multiple models; indeed, when considering two members, the standard ensembling by averaging of predictions doubles the computational cost, thus impeding scalability. After exploring subnetwork ensembling (in MixMo), we introduce a significant contribution of this thesis; the observed ability to average the models in weights rather than in predictions. This finding was surprising due to the non-linearities in deep architectures. We empirically demonstrate that, when weights are fine-tuned from a shared pre-trained initialization, weight averaging succeeds by approximating ensembling without any inference overhead. The empirical gains are especially important on DomainBed, the reference benchmark evaluating out-of-distribution generalization. More broadly, weight averaging facilitates effortless parallelization, enhancing machine learning updatability and data privacy. Finally, this thesis explores how ensembling can facilitate the alignment of models. This is critical to mitigate the societal ethical concerns from recent rapid scale-up in deep learning. To this end, we propose rewarded soups, a new strategy for multi-objective reinforcement learning, paving the way towards more transparent and reliable artifical intelligences, aligned with the world in all its diversity.
Cette thèse vise à améliorer les capacités de généralisation des réseaux de neurones profonds, un enjeu essentiel pour le développement de systèmes d'intelligence artificielle à la fois fiables et équitables. Le coeur du défi réside dans la gestion des potentiels changements de distributions entre les données d'entraînement et celles de test pour l'évaluation, pouvant réduire les performances. Dans cette thèse, nous analysons principalement des stratégies consistant à combiner plusieurs réseaux de neurones. Cette simple méthode d'ensemble est classique mais particulièrement efficace pour améliorer la généralisation. Après avoir examiné la littérature existante, nous proposons une nouvelle explication de la réussite des méthodes d'ensemble hors-distribution, en particulier lorsque les différents membres de l'ensemble sont suffisamment divers pour compenser mutuellement leurs erreurs individuelles. Pour encourager cette diversité entre les membres de l'ensemble, nous explorons plusieurs approches. La première, baptisée DICE, introduit explicitement une régularisation visant à éliminer de potentielles informations redondantes entre les membres de l'ensemble lors de l'apprentissage. Les autres méthodes de diversité utilisées dans cette thèse sont implicites, s'appuyant sur une augmentation diversifiée des données (dans MixMo), le choix d'hyperparamètres variés (dans DiWA), des entraînements intermédiaires sur des jeux de données auxiliaires (dans ratatouille), ou des récompenses différenciées en apprentissage par renforcement (dans rewarded soups). Le second enjeu majeur de cette thèse concerne l'efficacité des méthodes d'ensemble. L'objectif est d'atténuer le coût computationnel inhérent à la combinaison de plusieurs réseaux; en effet, considérant deux réseaux, la méthode standard qui consiste à moyenner leurs prédictions multiplie par deux le coût. Après avoir exploré une stratégie d'ensemble de sous-réseaux (dans MixMo), nous décrivons une contribution majeure de cette thèse: l'analyse d'une stratégie consistant à faire la moyenne des poids des réseaux de neurones plutôt que de leurs prédictions. Cette stratégie, surprenante en raison des non-linéarités des architectures profondes, fonctionne empiriquement lorsque les modèles sont appris à partir d'une même initialisation pré-entraînée. Cette moyenne des poids offre les bénéfices de l'ensemble sans aucun coût supplémentaire pour l'évaluation, en particulier sur DomainBed, le benchmark de référence pour évaluer la généralisation hors-distribution. Plus généralement, cette stratégie favorise la parallélisation des apprentissages et l'adaptabilité des modèles. Pour finir, cette thèse explore comment les méthodes d'ensemble peuvent améliorer l'alignement des intelligences artificielles. Face à l'essor rapide des modèles de langues comme ChatGPT, cet alignement est crucial pour répondre aux nombreuses préoccupations éthiques actuelles. Pour prendre en compte la diversité des préférences humaines, nous proposons une stratégie de politiques multiples en apprentissage par renforcement, rendant plus transparent l'alignement sur le monde, dans toute sa diversité.
| Origine | Version validée par le jury (STAR) |
|---|