Optimization of deep multi-task networks - TEL - Thèses en ligne Access content directly
Theses Year : 2021

Optimization of deep multi-task networks

Optimisation de réseaux profonds multi-tâches

Lucas Pascal
  • Function : Author
  • PersonId : 1166528
  • IdRef : 264172604

Abstract

Multi-task learning (MTL) is a learning paradigm involving the joint optimization of parameters with respect to multiple tasks. By learning multiple related tasks, a learner receives more complete and complementary information on the input domain from which the tasks are issued. This allows to gain better understanding of the domain by building a more accurate set of assumptions of it. However, in practice, the broader use of MTL is hindered by the lack of consistent performance gains observed by deep multi-task networks. It is often the case that deep MTL networks suffer from performance degradation caused by task interference. This thesis addresses the problem of task interference in Multi-Task learning, in order to improve the generalization capabilities of deep neural networks.
L'apprentissage multi-tâches est un paradigme d'apprentissage impliquant l’optimisation de paramètres par rapport à plusieurs tâches simultanément. En apprenant plusieurs tâches liées, un modèle d'apprentissage dispose d'un ensemble d'informations plus complet concernant le domaine dont les tâches sont issues, lui permettant ainsi de construire un meilleur ensemble d’hypothèse sur ce domaine. Cependant, en pratique, les gains de performance obtenus par les réseaux multi-tâches sont loin d'être systématiques. Il arrive au contraire que ces réseaux subissent une perte de performance liée à des phénomènes d’interférences entre les différentes tâches. Cette thèse traite du problème d'interférences en apprentissage multi-tâches, afin d'améliorer les capacités de généralisation des réseaux de neurones profonds.
Fichier principal
Vignette du fichier
PASCAL_Lucas_2021_v2.pdf (7.25 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03783509 , version 1 (22-09-2022)

Identifiers

  • HAL Id : tel-03783509 , version 1

Cite

Lucas Pascal. Optimization of deep multi-task networks. Neural and Evolutionary Computing [cs.NE]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS535⟩. ⟨tel-03783509⟩
72 View
55 Download

Share

Gmail Facebook X LinkedIn More