Lightweight and interactive neural networks for image edition and generation
Réseaux de neurones légers et interactifs pour l'édition et la génération d'images
Résumé
For more than a decade, machine learning has enabled considerable advances in image processing. Deep convolutional neural networks have demonstrated their ability to produce astonishing results and to fit diversified data distributions for many applications. However, these deep networks suffer from some drawbacks, which are all the more important as the models are large and complex. These drawbacks are related to memory storage, training and inference time, but are also related to the interpretability and controllability, implying technical, ethical and ecological limitations.To circumvent those limitations, the general purpose of this thesis is to demonstrate that some applications often addressed with deep networks may also be considered with lightweight networks, \emph{i.e.} with low complexity and few parameters. Moreover, our aim is to unbundle the network architecture and to reduce the associated number of parameters in order to integrate an interactive user control, \emph{i.e.} an intuitive way to control the outcome based on logical rules. In addition, such control may simplify the problem by constraining the space of synthesized images and reducing its dimensions, which partly compensates for the performance losses caused by the reduction of the number of parameters. To this end, we break down various image editing problems into subtasks for which a generic neural network module is associated whose different instances are interchangeable. The different parts of the model are trained and studied independently. During evaluation, the user may combine arbitrarily the chosen network of each model part.
L'apprentissage profond a permis, en quelques années seulement, des avancées considérables en traitement d'images. Les réseaux de neurones convolutifs de plus en plus profonds ont ainsi démontré leur capacité à produire d’excellents résultats et à représenter des données riches, variées et ce pour de nombreuses applications. Pour autant, ces réseaux présentent des inconvénients d'autant plus importants que les modèles sont volumineux et complexes. Ces inconvénients relatifs au stockage, à l'entrainement, au temps d'inférence, mais aussi à l'interprétabilité et à la contrôlabilité des modèles soulèvent - lors de l'utilisation de tels réseaux - des problèmes techniques, éthiques ou écologiques.Motivés par ces problématiques, l'objectif général de cette thèse est de montrer que certaines applications souvent traitées avec des réseaux profonds sont envisageables avec des réseaux légers, c'est-à-dire à faible complexité et encodés avec peu de paramètres, en faisant un bon compromis entre performance et complexité. Plus encore, il s'agit de décomposer le problème et l'architecture des réseaux afin d'y intégrer un contrôle utilisateur interactif, c'est-à-dire une manière intuitive de contrôler le résultat basée sur des règles logiques. Vice versa, ce contrôle utilisateur permet de simplifier le problème en contraignant et réduisant le degré de liberté, ce qui compense en partie les pertes de performance induites par la réduction du nombre de paramètres. Pour ce faire, nous décomposons selon une analyse multi-échelles diverses tâches en sous-tâches associées à plusieurs réseaux génériques modulaires dont les différentes instances sont interchangeables. Après avoir entrainé et étudié indépendamment les différentes parties du modèle, nous permettons, lors de l'évaluation, un contrôle utilisateur, notamment par combinaison arbitraire des différentes instances de ces dernières.
Fichier principal
sygal_fusion_38647-durand-thibault_6437c8cb5ca82.pdf (68.08 Mo)
Télécharger le fichier
| Origine | Version validée par le jury (STAR) |
|---|