Exploring analog-to-information CMOS image sensor design taking advantage on recent advances of compressive sensing for low-power image classification
Etude d'architectures d'imageurs exploitant l'acquisition compressive pour la classification d'images à basse consommation énergétique
Résumé
Recent advances in the field of CMOS Image Sensors (CIS) tend to revisit the canonical image acquisition and processing pipeline to enable on-chip advanced image processing applications such as decision making. Despite the tremendous achievements made possible thanks to technology node scaling and 3D integration, designing a CIS architecture with on-chip decision making capabilities still a challenging task due to the amount of data to sense and process, as well as the hardware cost to implement state-of-the-art decision making algorithms. In this context, Compressive Sensing (CS) has emerged as an alternative signal acquisition approach to sense the data in a compressed representation. When based on randomly generated sensing models, CS enables drastic hardware saving through the reduction of Analog to Digital conversions and data off-chip throughput while providing a meaningful information for either signal recovery or signal processing. Traditionally, CS has been exploited in CIS applications for compression tasks coupled with a remote signal recovery algorithm involving high algorithmic complexity. To alleviate this complexity, signal processing on CS provides solid theoretical guarantees to perform signal processing directly on CS measurements without significant performance loss opening as a consequence new ways towards the design of low-power smart sensor nodes.Built on algorithm and hardware research axes, this thesis illustrates how Compressive Sensing can be exploited to design low-power sensor nodes with efficient on-chip decision making algorithms. After an overview of the fields of Compressive Sensing and Machine Learning with a particular focus on hardware implementations, this thesis presents four main contributions to study efficient sensing schemes and decision making approaches for the design of compact CMOS Image Sensor architectures. First, an analytical study explores the interest of solving basic inference tasks on CS measurements for highly constrained hardware. It aims at finding the most beneficial setting to perform decision making on Compressive Sensing based measurements. Next, a novel sensing scheme for CIS applications is presented. Designed to meet both theoretical and hardware requirements, the proposed sensing model is shown to be suitable for CIS applications addressing both image rendering and on-chip decision making tasks. On the other hand, to deal with on-chip computational complexity involved by standard decision making algorithms, new methods to construct a hierarchical inference tree are explored to reduce MAC operations related to an on-chip multi-class inference task. This leads to a joint acquisition-processing optimization when combining hierarchical inference with Compressive Sensing. Finally, all the aforementioned contributions are brought together to propose a compact CMOS Image Sensor architecture enabling on-chip object recognition facilitated by the proposed CS sensing scheme, reducing as a consequence on-chip memory needs. The only additional hardware compared to a standard CIS architecture using first order incremental Sigma-Delta Analog to Digital Converter (ADC) are a pseudo-random data mixing circuit, an +/-1 in-Sigma-Delta modulator and a small Digital Signal Processor (DSP). Several hardware optimization are presented to fit requirements of future ultra-low power (≈µW) CIS design.
Les progrès récents dans le domaine des capteurs d’image CMOS reposent sur la remise en question du schéma classique d’acquisition et de traitement d’images, cela, afin de permettre des traitements avancés sur puce telles que la prise de décision. Malgré les réalisations rendues possibles grâce à l’utilisation des nœuds technologiques avancés et à l’intégration 3D, la conception de capteurs avec des capacités de prise de décision reste une tâche ardue en raison de la quantité de données acquise et à traiter, ainsi que du coût matériel que représente l’implémentation des algorithmes de prise de décisions classiques. Dans ce contexte, l’Acquisition Compressive (AC) est apparue comme une approche alternative pour détecter les données dans une représentation compressive. Dans le cas où le AC exploite des motifs générés aléatoirement, il permet une réduction considérable du matériel en réduisant les conversions analogique-numérique et le débit des données, tout en fournissant des informations pertinentes pour la reconstruction ou le traitement du signal. Traditionnellement, l’AC a été exploité dans des applications de capteurs d’image pour des tâches de compression couplées à des algorithmes de reconstructions distants impliquant une complexité algorithmique élevée. Pour relâcher cette complexité, le traitement du signal sur des mesures compressées fournit des garanties théoriques solides pour effectuer le traitement du signal directement sur les mesures compressées sans perte de performance significative, ce qui constitue donc une nouvelle piste pour concevoir des nœuds de capteurs intelligents à basse consommation énergétique.Basée sur des axes de recherche traitant de l’algorithmique et du matériel, cette thèse étudie des voix de développement exploitant l’acquisition compressive pour concevoir des nœuds de capteurs doté de capacité de prise de décision sur puce à basse consommation énergétique. Après une présentation du contexte matériel et algorithmique lié à l’acquisition compressive et les techniques d’apprentissage machine, la thèse présente quatre contributions principales pour optimiser les schémas d’acquisition du signal et des traitements associés dans le contexte des capteurs d’image CMOS. Dans un premier temps, une étude analytique explore l’intérêt de résoudre des tâches d’inférence à partir de mesures compressées pour des applications à forte contraintes matériels. L’objectif est de trouver le schéma le plus avantageux pour prendre des décisions à partir de mesures compressées. Ensuite, un nouveau schéma d’acquisition compressive pour les capteurs d’image est présenté. Conçu pour répondre à la fois aux exigences théoriques et matérielles, le modèle s’avère être approprié pour les capteurs qui traitent à la fois des tâches de rendu d’image et de prise de décision sur puce. D’autre part, pour réduire la complexité de calcul sur puce impliquée par les algorithmes de prise de décision standard, de nouvelles méthodes de construction d’arbres d’inférence hiérarchique sont explorées afin de réduire les opérations MAC liées à une tâche d’inférence multi-classe sur puce. Cela conduit à une optimisation conjointe traitement-acquisition lors de la combinaison de l’inférence hiérarchique avec l’acquisition compressive. Enfin, les contributions susmentionnées sont mises en œuvre dans une architecture compacte d’un capteur d’image CMOS permettant la reconnaissance d’objets sur puce, grâce au schéma d’acquisition AC proposé, réduisant ainsi les besoins en mémoire sur puce. Le seul matériel supplémentaire par rapport à une architecture standard utilisant un convertisseur analogique-numérique Sigma-Delta incrémental de premier ordre est un circuit de mélange de données pseudo-aléatoire, un modulateur +/-1 in-Sigma-Delta et un petit processeur de signal numérique (DSP). Plusieurs optimisations matérielles sont présentées pour répondre aux exigences de la conception des futures capteurs CMOS dits ultra-basse consommation (≈µW).
| Origine | Version validée par le jury (STAR) |
|---|
Loading...