Codages optimisés pour la conception d'accélérateurs matériels de réseaux de neurones profonds - TEL - Thèses en ligne
Thèse Année : 2023

Optimized coding techniques for the design of deep neural network hardware accelerators

Codages optimisés pour la conception d'accélérateurs matériels de réseaux de neurones profonds

Résumé

Neural networks are an important component of machine learning tools because of their wide range of applications (health, energy, defence, finance, autonomous navigation, etc.). The performance of neural networks is greatly influenced by the complexity of their architecture in terms of the number of layers, neurons and connections. But the training and inference of ever-larger networks translates to greater demands on hardware resources and longer computing times. Conversely, their portability is limited on embedded systems with low memory and/or computing capacity.The aim of this thesis is to study and design methods for reducing the hardware footprint of neural networks while preserving their performance as much as possible. We restrict ourselves to convolution networks dedicated to computer vision by studying the possibilities offered by quantization. Quantization aims to reduce the hardware footprint, in terms of memory, bandwidth and computation operators, by reducing the number of bits in the network parameters and activations.The contributions of this thesis consist of a new post-training quantization method based on the exploitation of spatial correlations of network parameters, an approach facilitating the learning of very highly quantized networks, and a method aiming to combine mixed precision quantization and lossless entropy coding.The contents of this thesis are essentially limited to algorithmic aspects, but the research orientations were strongly influenced by the requirement for hardware feasibility of our solutions.
Par leurs domaines d'application très divers (santé, énergie, défense, finance, navigation autonome...), les réseaux de neurones constituent une composante importante des outils d'apprentissage automatique. Les performances des réseaux de neurones sont grandement influencées par la complexité de leur architecture en nombre de couches, de neurones et de connexions. Mais l'entraînement et l'inférence de réseaux de plus en plus grands implique une sollicitation croissante de ressources matérielles et des temps de calcul plus longs. A l'inverse, leur portabilité se retrouve bridée sur des systèmes embarqués aux faibles capacités mémoire et/ou calculatoire.L'objectif de cette thèse est d'étudier et de concevoir des méthodes permettant de réduire l'empreinte matérielle des réseaux de neurones tout en préservant au mieux leurs performances. Nous nous restreignons aux réseaux de convolution dédiés à la vision par ordinateur en étudiant les possibilités offertes par la quantification. La quantification vise à réduire l'empreinte matérielle des réseaux en mémoire, en bande passante et en opérateurs de calculs par la réduction du nombre de bits des paramètres et des activations.Les contributions de cette thèse consistent en une nouvelle méthode de quantification post-entraînement reposant sur l'exploitation des corrélations spatiales des paramètres du réseau, une approche facilitant l'apprentissage des réseaux très fortement quantifiés, ainsi qu'une méthode visant à combiner la quantification en précision mixte et le codage entropique sans perte.Cette thèse se limite essentiellement aux aspects algorithmiques, mais les orientations de recherche ont été fortement influencées par la contrainte de faisabilité matérielle des propositions apportées.
Fichier principal
Vignette du fichier
130611_METZ_2023_archivage.pdf (4.21 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04862326 , version 1 (03-01-2025)

Identifiants

  • HAL Id : tel-04862326 , version 1

Citer

Clément Metz. Codages optimisés pour la conception d'accélérateurs matériels de réseaux de neurones profonds. Réseau de neurones [cs.NE]. Université Paris-Saclay, 2023. Français. ⟨NNT : 2023UPAST190⟩. ⟨tel-04862326⟩
0 Consultations
0 Téléchargements

Partager

More