Early Timing and Energy Prediction and Optimization of Artificial Neural Networks on Multi-Core Platforms
Prédiction et optimisation des propriétés temporelles et de l’énergie des réseaux de neurones artificiels implémentés sur les plateformes multicœurs
Résumé
The need to implement artificial Neural Networks (NNs) on embedded multicore platforms has become fundamental. Predicting timing properties (inference time, latency, throughput) and energy as early as possible in the design process is necessary to find solutions that optimize resource use and respect the constraints imposed on the system. A major modeling difficulty comes from the need to correctly describe the influence of resource sharing (processor, memory, communication bus) within multi-core platforms. In this thesis, we present a complete flow for predicting and optimizing timing properties and energy, combining several modeling approaches. This flow leads to optimized resource occupancy without degrading the performance of implemented NNs. Predictions are compared with measurements on real targets. The proposed models have an accuracy of over 97% on timing and 93% on energy for 54 mappings of 4 NNs, with a prediction time of 20s per mapping. We show how to use the models to efficiently explore the design space and find optimized solutions that satisfy the constraints imposed on the system.
Le besoin de mettre en oeuvre les Réseaux de Neurones artificiels (NNs) sur des plates-formes multicœurs embarquées est devenu fondamental. La prédiction des propriétés temporelles (temps d’inférence, latence, débit) et énergétiques au plus tôt dans le processus de conception est nécessaire pour trouver des solutions qui optimisent l’utilisation des ressources et respectent les contraintes imposées au système. Une difficulté majeure de cette modélisation vient de la nécessité de décrire correctement l’influence du partage de ressources (processeur, mémoire, bus de communication) au sein des plateformes multicœurs. Dans cette thèse, nous présentons un flot complet de prédiction et d’optimisation des propriétés temporelles et de l’énergie qui combine plusieurs approches de modélisation. Ce flot conduit à optimiser l’occupation des ressources sans dégrader les performances des NNs mis en œuvre. Les prédictions sont confrontées à des expérimentations sur cibles réelles. Les modèles proposés ont une précision de plus de 97% sur le temps et 93% sur l’énergie sur 54 mappings de 4 NNs, avec un temps de prédiction de 20s par mapping. Nous montrons comment utiliser les modèles pour explorer efficacement l’espace de conception et trouver des solutions optimisées qui satisfont les contraintes imposées au système.
| Origine | Version validée par le jury (STAR) |
|---|