Deep Convolutional Neural Network Based Object Detection Inference Acceleration Using FPGA
Accélération de l'inférence de la détection d'objets basée sur un réseau neuronal convolutif profond à l'aide de FPGA
Résumé
Object detection is one of the most challenging yet essential computer vision research areas. It means labeling and localizing all known objects of interest on an input image using tightly fit rectangular bounding boxes around the objects. Object detection, having passed through several evolutions and progressions, nowadays relies on the successes of image classification networks based on deep convolutional neural networks. However, as the depth and complication of convolutional neural networks increased, detection speed reduced, and accuracy increased. Unfortunately, most computer vision applications, such as real-time object tracking on an embedded system, requires lightweight, fast and accurate object detection. As a result, object detection acceleration has become a hot research area, with much attention given to FPGA-based acceleration due to FPGA's high-energy efficiency, high-data bandwidth, and flexible programmability.This Ph.D. dissertation proposes incrementally improving object detection models by repurposing existing well-known object detectors into lighter, more accurate, and faster models. Our models achieve a comparable accuracy while being lightweight and faster compared with some of the top state-of-the-art detectors. We also propose and implement object detection inference acceleration using FPGA boards of different capacities and resources. We focus on high resource and energy-efficient inference acceleration implementations while preserving the object detector's accuracy performance. Last but not least, we present various auxiliary contributions such as a highly significant synthetic image generation or augmentation technique for training an object detector which is critical for achieving a high-performance object detector. Overall, our work in this thesis has two parts: designing and implementing lightweight and accurate CPU and GPU-based object detection models and implementing high-throughput, energy, and resource-efficient object detection inference acceleration on an FPGA.
La détection d'objets est l'un des domaines de recherche en vision par ordinateur les plus difficiles et pourtant essentiels. Elle consiste à étiqueter et à localiser tous les objets d'intérêt connus sur une image d'entrée en utilisant des boîtes de délimitation rectangulaires bien ajustées autour des objets. La détection d'objets, après avoir connu plusieurs évolutions et progressions, repose aujourd'hui sur les succès des réseaux de classification d'images basés sur des réseaux de neurones convolutifs profonds. Toutefois, à mesure que la profondeur et la complexité des réseaux neuronaux convolutifs augmentent, la vitesse de détection diminue et la précision augmente. Malheureusement, la plupart des applications de vision par ordinateur, comme le suivi d'objets en temps réel sur un système embarqué, nécessitent une détection d'objets légère, rapide et précise. Par conséquent, l'accélération de la détection d'objets est devenue un domaine de recherche très dynamique, avec beaucoup d'attention accordée à l'accélération basée sur le FPGA en raison de la haute efficacité énergétique, de la grande largeur de bande de données et de la programmabilité flexible du FPGA.Cette thèse de doctorat propose d'améliorer progressivement les modèles de détection d'objets en reconvertissant les détecteurs d'objets connus existants en modèles plus légers, plus précis et plus rapides. Nos modèles atteignent une précision comparable, tout en étant légers et rapides, à celles de obtenues par les meilleurs détecteurs de l'état de l'art. Nous proposons et mettons également en œuvre l'accélération de l'inférence de la détection d'objets à l'aide de cartes FPGA de différentes capacités et ressources. Nous nous concentrons sur les implémentations d'accélération d'inférence à haute efficacité énergétique et en ressources, tout en préservant les performances de précision du détecteur d'objets. Enfin, nous présentons diverses contributions auxiliaires telles qu'une technique de génération ou d'augmentation d'images synthétiques très significative pour l'entraînement d'un détecteur d'objets, ce qui est essentiel pour obtenir un détecteur d'objets performant. Dans l'ensemble, notre travail dans cette thèse comporte deux grandes parties : la conception et la mise en œuvre de modèles de détection d'objets légers et précis basés sur le CPU et le GPU et la mise en œuvre d'une accélération d'inférence de détection d'objets à haut débit, à faible consommation d'énergie et de ressources sur un FPGA.
| Origine | Version validée par le jury (STAR) |
|---|