Multispectral images-based background subtraction using Codebook and deep learning approaches
Soustraction d'arrière-plan par images multispectrales avec les méthodes Codebook et apprentissage profond
Résumé
This dissertation aims to investigate the multispectral images in moving objects detection via background subtraction, both with classical and deep learning-based methods. As an efficient and representative classical algorithm for background subtraction, the traditional Codebook has first been extended to multispectral case. In order to make the algorithm reliable and robust, a self-adaptive mechanism to select optimal parameters has then been proposed. In this frame, new criteria in the matching process are employed and new techniques to build the background model are designed, including box-based Codebook, dynamic Codebook and fusion strategy. The last attempt is to investigate the potential benefit of using multispectral images via convolutional neural networks. Based on the impressive algorithm FgSegNet_v2, the major contributions of this part lie in two aspects: (1) extracting three channels out of seven in the FluxData FD-1665 multispectral dataset to match the number of input channels of the deep model, and (2) proposing a new convolutional encoder to utilize all the multispectral channels available to further explore the information of multispectral images.
Cette thèse vise à étudier les images multispectrales pour la détection d'objets en mouvement par soustraction d'arrière-plan, à la fois avec des méthodes classiques et d’apprentissage profond. En tant qu'algorithme classique efficace et représentatif pour la soustraction de fond, l’algorithme Codebook traditionnel a d'abord été étendu au cas multispectral. Afin de rendre l'algorithme fiable et robuste, un mécanisme auto-adaptatif pour sélectionner les paramètres optimaux a ensuite été proposé. Dans ce cadre, de nouveaux critères dans le processus d'appariement sont employés et de nouvelles techniques pour construire le modèle d'arrière-plan sont conçues, y compris le Codebook de boîtes, le Codebook dynamique et la stratégie de fusion. La dernière tentative est d'étudier les avantages potentiels de l'utilisation d'images multispectrales via des réseaux de neurones convolutifs. Sur la base de l'algorithme impressionnant FgSegNet_v2, les principales contributions de ce travail reposent sur deux aspects : (1) extraire trois canaux sur sept de l'ensemble des données multispectrales du FluxData FD-1665 pour correspondre au nombre de canaux d'entrée du modèle profond, et (2) proposer un nouvel encodeur convolutionnel pour pouvoir utiliser tous les canaux multispectraux disponibles permettant d’explorer davantage les informations des images multispectrales.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...