Optimization of deep multi-task networks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Optimization of deep multi-task networks

Optimisation de réseaux profonds multi-tâches

Lucas Pascal
  • Fonction : Auteur
  • PersonId : 1166528
  • IdRef : 264172604

Résumé

Multi-task learning (MTL) is a learning paradigm involving the joint optimization of parameters with respect to multiple tasks. By learning multiple related tasks, a learner receives more complete and complementary information on the input domain from which the tasks are issued. This allows to gain better understanding of the domain by building a more accurate set of assumptions of it. However, in practice, the broader use of MTL is hindered by the lack of consistent performance gains observed by deep multi-task networks. It is often the case that deep MTL networks suffer from performance degradation caused by task interference. This thesis addresses the problem of task interference in Multi-Task learning, in order to improve the generalization capabilities of deep neural networks.
L'apprentissage multi-tâches est un paradigme d'apprentissage impliquant l’optimisation de paramètres par rapport à plusieurs tâches simultanément. En apprenant plusieurs tâches liées, un modèle d'apprentissage dispose d'un ensemble d'informations plus complet concernant le domaine dont les tâches sont issues, lui permettant ainsi de construire un meilleur ensemble d’hypothèse sur ce domaine. Cependant, en pratique, les gains de performance obtenus par les réseaux multi-tâches sont loin d'être systématiques. Il arrive au contraire que ces réseaux subissent une perte de performance liée à des phénomènes d’interférences entre les différentes tâches. Cette thèse traite du problème d'interférences en apprentissage multi-tâches, afin d'améliorer les capacités de généralisation des réseaux de neurones profonds.
Fichier principal
Vignette du fichier
PASCAL_Lucas_2021_v2.pdf (7.25 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03783509 , version 1 (22-09-2022)

Identifiants

  • HAL Id : tel-03783509 , version 1

Citer

Lucas Pascal. Optimization of deep multi-task networks. Neural and Evolutionary Computing [cs.NE]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS535⟩. ⟨tel-03783509⟩
73 Consultations
63 Téléchargements

Partager

Gmail Facebook X LinkedIn More