Unsupervised deep learning for spatio-temporal representations of videos: application to video surveillance - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Unsupervised deep learning for spatio-temporal representations of videos: application to video surveillance

Apprentissage profond non supervisé pour les représentations spatio-temporelles de vidéos : application à la vidéosurveillance

Résumé

In the last two decades, we have witnessed a massive increase of surveillance cameras in our surroundings. One of the most important uses of these cameras is to detect suspectful or abnormal behaviors, e.g., a moving truck in a pedestrian zone or an intruder entering a prohibited site. These abnormal events occur very rarely and thus it is an extremely tedious and difficult task for professionals to attentively monitor the video constantly for finding these events. Therefore, an automatic video analysis system is essential. Traditional systems suffer to generalize across different types of anomalies, often rely on handcrafted rules and cannot adapt to abnormal events that they have never seen before. In the past few years, we have seen a tremendous progress in deep learning based video surveillance systems. These systems learn representative features from the data itself, generalize across different scenes and anomalies. That is why, in this thesis, we explore deep learning based methods. Majority of these methods in automatic video analysis are supervised, i.e., they require a large volume of labeled data. But since abnormal events depend on context and are rare, it is very difficult to have labeled anomalous data beforehand, and even if there is some annotated data for abnormal events, it will always be a small portion compared to normal data. Furthermore, one cannot annotate every possible event that might occur in future. So, we require approaches that can work without labeled data. Since these events occur in videos, they can have both spatial and temporal dimensions. Therefore, the approach must be able to learn pertinent spatio-temporal representations to differentiate abnormal and normal events. Thus, in this PhD, prepared at LIRIS laboratory and in collaboration with the Foxstream enterprise, we aim to learn spatio-temporal representations from unlabeled videos to detect abnormal events. Precisely, we address the task of video anomaly detection and its sub-task, perimeter intrusion detection. We provided mathematical definitions to these tasks because they were not clearly defined in the literature. The definitions have a direct impact on the evaluation and therefore, we proposed new suitable evaluation schemes. Concerning spatio-temporal representation learning without annotations, we proposed two approaches. In the first approach, we designed a strided 3D convolutional autoencoder network and it was used for the perimeter intrusion detection task. The main idea is to learn normal representation from training data without intrusions (or anomalies) and detect intrusions (or anomalies) as they deviate from learned normality. It worked well in small- length videos but suffered in long videos, which have changes in scene dynamics like weather, lighting, etc. To address this problem, we introduced an adaptive thresholding approach using moving z-score. Our extensive experiments showed the viability of our approach in comparison with other existing methods. To further improve the spatio-temporal comprehension of normality, we introduced our second approach. It consisted of a framework that leverages unsupervised and self-supervised learning in an autoencoder. To be precise, we proposed multiple, carefully designed tasks (unsupervised and self-supervised) that are performed in a single autoencoder. This method is also trained in an end-to-end and joint manner, where training data is without anomalies or intrusions. For detecting anomalies (or intrusions), each of the task provide an anomaly score and the combined score is used for final detection. This approach is generic and was applied to the two tasks. We obtained state-of-the-art results in all major public datasets for both video anomaly detection and perimeter intrusion detection task.
Au cours des deux dernières décennies, nous avons assisté à une augmentation massive des caméras de surveillance dans notre environnement. L'une des utilisations les plus importantes de ces caméras est de détecter les comportements suspects ou anormaux. C'est une tâche extrêmement chronophage pour les professionnels de surveiller manuellement la vidéo. Par conséquent, l'analyse vidéo automatique est essentielle. Les systèmes traditionnels ont du mal à généraliser à des événements anormaux qu'ils n'ont jamais vus auparavant. Nous avons constaté d'énormes progrès dans les systèmes de vidéosurveillance basés sur l'apprentissage en profondeur. Ces systèmes dérivent des caractéristiques représentatives des données elles-mêmes. C'est pourquoi, dans cette thèse, nous explorons des méthodes basées sur l'apprentissage profond. Cependant, la majorité des travaux nécessitent un grand volume de données étiquetées. Mais comme les événements anormaux sont rares, il est très difficile d'avoir des données étiquetées. Nous avons donc besoin d'approches qui peuvent fonctionner directement sur les vidéos, sans nécessiter d'annotations. Puisque ces événements se produisent dans des vidéos, l'approche doit donc être capable d'apprendre des représentations spatio-temporelles pour différencier les événements anormaux des événements normaux. Ainsi, dans cette thèse, nous visons à apprendre des représentations spatio-temporelles à partir de vidéos non étiquetées pour détecter des événements anormaux. Plus précisément, nous abordons la tâche de détection d'anomalies vidéo et la détection d'intrusion périmétrique. Nous avons proposé des définitions mathématiques qui ont un impact direct sur l'évaluation, donc nous avons également proposé de nouveaux schémas d'évaluation adaptés. Concernant l'apprentissage des représentations spatio-temporelles sans annotations, nous avons deux approches. Dans la première approche, nous avons conçu un réseau d'auto-encodeur convolutif 3D. L'idée principale est d'apprendre la représentation normale à partir de données d'apprentissage sans intrusions (ou anomalies) et de détecter les intrusions (ou anomalies) lorsqu'elles s'écartent de la normalité apprise. Il a été utilisé pour la tâche de détection d'intrusion périmétrique. Pour faire face à l'évolution de la dynamique de la scène, nous avons introduit une approche de seuillage adaptatif. Nos nombreuses expérimentations ont montré la viabilité de notre approche. Pour améliorer encore la compréhension spatio-temporelle de la normalité, nous avons introduit notre seconde approche. Il s'agissait d'un cadre qui exploite l'apprentissage non supervisé et auto-supervisé dans un encodeur automatique. Nous avons proposé plusieurs tâches bien conçues (non supervisées et auto-supervisées) qui sont exécutées dans un seul auto-encodeur. Cette méthode est également entraînée de bout en bout et conjointement, où les données d'entraînement sont sans anomalies ni intrusions. Pour la détection d'anomalies (ou d'intrusions), chacune des tâches fournit un score d'anomalie et le score combiné est utilisé pour la détection finale. Cette approche est générique et a été appliquée aux deux tâches. Nous avons obtenu des résultats au-delà de l'état de l'art pour les deux tâches, dans les principaux ensembles de données publiques.
Fichier principal
Vignette du fichier
phd_thesis_devashish_lohani.pdf (49.27 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Licence : CC BY - Paternité

Dates et versions

tel-04108165 , version 1 (26-05-2023)

Licence

Paternité

Identifiants

  • HAL Id : tel-04108165 , version 1

Citer

Devashish Lohani. Unsupervised deep learning for spatio-temporal representations of videos: application to video surveillance. Computer Vision and Pattern Recognition [cs.CV]. Université Lumière Lyon 2, 2023. English. ⟨NNT : ⟩. ⟨tel-04108165⟩
95 Consultations
22 Téléchargements

Partager

Gmail Facebook X LinkedIn More