Optimizing deep learning : navigating the field of neural architecture search from theory to practice - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Optimizing deep learning : navigating the field of neural architecture search from theory to practice

Optimiser l’apprentissage profond : explorer la recherche d’architecture neuronale, de la théorie à la pratique

Résumé

In the realm of deep learning, the design and optimization of neural architectures are crucial for achieving high-performance models. This process, based on trial and error, has been done manually for decades and is both time and resource-consuming. This thesis delves into the domain of Neural Architecture Search (NAS), a promising technique that seeks to automate this process. The research explores the complexities inherent in NAS, highlighting the challenges of navigating the vast search space of potential architectures. It investigates methods based on Local Search and proposes two efficient algorithms built around it, namely LS-Weight and LS-PON. Each method offers a distinctive approach to integrate knowledge during the search to offer efficient and more frugal strategies to NAS. Furthermore, as deep learning models are often governed by multiple competing objectives such as accuracy, complexity, and computational efficiency, this research also delves into multi-objective optimization within NAS. This ensures that the resulting architectures are not only performant for the task they are designed for but also aligned with multiple criteria essential for real-world applications. For this purpose, this research offers an alternative approach to multi-objective NAS that addresses certain issues found in strategies from the literature. On top of that, it also analyzes the complexity of moving from benchmarks to real data, offering a protocol that guides practitioners in their usage of NAS for their applications. Lastly, by recognizing the importance of domain applications, this work focuses on healthcare images to validate these contributions. It also presents a detailed survey on the use of NAS for healthcare, by analyzing more than 40 contributions in the literature and laying the ground for future works in the field.
Dans le domaine de l'apprentissage profond, la conception et l'optimisation des architectures neuronales sont essentielles pour obtenir des modèles performants. Ce processus, basé sur des essais et erreurs, a été effectué manuellement pendant des décennies et consomment beaucoup de temps et de ressources. Ce travail se penche sur le domaine de la recherche d'architecture neurale, ou Neural Architecture Search (NAS), une technique prometteuse qui vise à automatiser ce processus. Ce travail explore les complexités des NAS, mettant en évidence les défis à naviguer dans l'immense espace de recherche des architectures potentielles. Il étudie des méthodes basées sur la recherche locale et propose deux algorithmes efficaces centrés autour de celle-ci, à savoir LS-Weight et LS-PON. Chaque méthode offre une approche distinctive pour intégrer des connaissances pendant la recherche afin de proposer des stratégies plus efficientes et frugale. De plus, étant donné que les modèles d'apprentissage profond sont souvent régis par plusieurs objectifs concurrents tels que la précision, la complexité, et l'efficacité de calcul, notre recherche s'intéresse également à l'optimisation multi-objectifs au sein des NAS. Cela garantit que les architectures résultantes sont non seulement performantes pour la tâche pour laquelle elles sont conçues, mais également alignées sur plusieurs critères essentiels pour les applications réelles. À cet effet, ce travail propose une nouvelle approche au NAS multi-objectif qui aborde certains problèmes trouvés dans la littérature. De plus, il analyse la complexité du passage des benchmarks aux données réelles, en proposant un protocole qui guide les praticiens dans leur utilisation des NAS pour leurs problèmes. Enfin, reconnaissant l'importance des applications du domaine, ce travail présente des expérimentations basées sur l'imagerie médicale pour valider ces contributions. Il présente également une étude détaillée sur l'utilisation des NAS dans le domaine de la santé, en analysant plus de 40 contributions dans la littérature et en offrant un point de départ pour de futurs travaux du domaine.
Fichier principal
Vignette du fichier
These_ZOUAMBI_Meyssa.pdf (11.99 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04618392 , version 1 (20-06-2024)

Identifiants

  • HAL Id : tel-04618392 , version 1

Citer

Meyssa Zouambi. Optimizing deep learning : navigating the field of neural architecture search from theory to practice. Machine Learning [cs.LG]. Université de Lille, 2023. English. ⟨NNT : 2023ULILB054⟩. ⟨tel-04618392⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More