Efficient Representations of Dynamic Textures - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Efficient Representations of Dynamic Textures

Représentations efficaces des textures dynamiques

Résumé

Representation of dynamic textures (DTs), well-known as a sequence of moving textures, is a challenge in video analysis for various computer vision applications. It is partly due to disorientation of motions, the negative impacts of the well-known issues on capturing turbulent features: noise, changes of environment, illumination, similarity transformations, etc. In this work, we introduce significant solutions in order to deal with above problems. Accordingly, three streams of those are proposed for encoding DTs: i) based on dense trajectories extracted from a given video; ii) based on robust responses extracted by moment models; iii) based on filtered outcomes which are computed by variants of Gaussian-filtering kernels. In parallel, we also propose several discriminative descriptors to capture spatio-temporal features for above DT encodings. For DT representation based on dense trajectories, we firstly extract dense trajectories from a given video. Motion points along the paths of dense trajectories are then encoded by our xLVP operator, an important extension of Local Vector Patterns (LVP) in a completed encoding context, in order to capture directional dense-trajectory-based features for DT representation.For DT description based on moment models, motivated by the moment-image model, we propose a novel model of moment volumes based on statistical information of spherical supporting regions centered at a voxel. Two these models are then taken into account video analysis to point out moment-based images/volumes. In order to encode the moment-based images, we address CLSP operator, a variant of completed local binary patterns (CLBP). In the meanwhile, our xLDP, an important extension of Local Derivative Patterns (LDP) in a completed encoding context, is introduced to capture spatio-temporal features of the moment-volume-based outcomes. For DT representation based on the Gaussian-based filterings, we will investigate many kinds of filterings as pre-processing analysis of a video to point out its filtered outcomes. After that, these outputs are encoded by discriminative operators to structure DT descriptors correspondingly. More concretely, we exploit the Gaussian-based kernel and variants of high-order Gaussian gradients for the filtering analysis. Particularly, we introduce a novel filtering kernel (DoDG) in consideration of the difference of Gaussian gradients, which allows to point out robust DoDG-filtered components to construct prominent DoDG-based descriptors in small dimension. In parallel to the Gaussian-based filterings, some novel operators will be introduced to meet different contexts of the local DT encoding: CAIP, an adaptation of CLBP to fix the close-to-zero problem caused by separately bipolar features; LRP, based on a concept of a square cube of local neighbors sampled at a center voxel; CHILOP, a generalized formulation of CLBP to adequately investigate local relationships of hierarchical supporting regions. Experiments for DT recognition have validated that our proposals significantly perform in comparison with state of the art. Some of which have performance being very close to deep-learning approaches, expected as one of appreciated solutions for mobile applications due to their simplicity in computation and their DT descriptors in a small number of bins.
La représentation des textures dynamiques (TD), considérée comme une séquence de textures en mouvement, est un défi en analyse des vidéos dans des applications diverses de la vision par ordinateur. Cela est en partie causé par la désorientation des mouvements, les impacts négatifs des problèmes bien connus dans la capture des caractéristiques turbulentes: bruit, changements d'environnement, illumination, transformations de similarité, mise en échelles, etc. Dans le cadre de cette thèse, nous introduisons des solutions significatives afin de traiter les problèmes ci-dessus. Par conséquent, trois approches principales suivantes sont proposées pour le codage efficace des TDs : i) à partir de trajectoires denses extraites d'une vidéo donnée; ii) basé sur des réponses robustes extraites par des modèles de moment; iii) basé sur des résultats filtrés qui sont calculés par des variantes de noyaux de filtrage gaussien. En parallèle, nous proposons également plusieurs opérateurs discriminants pour capturer les caractéristiques spatio-temporelles des codages de TD ci-dessus. Pour une représentation TD basée sur des trajectoires denses, nous extrayons d'abord des trajectoires denses à partir d'une vidéo donnée. Les points de mouvement le long des trajectoires sont ensuite codés par notre opérateur xLVP, une extension des modèles vectoriels locaux (LVP) dans un contexte de codage complémentaire, afin de capturer des caractéristiques directionnelles basées sur une trajectoire dense pour la représentation efficace de TD. Pour la description TD basée sur des modèles de moment, motivée par un modèle d'images de moment, nous proposons un nouveau modèle de volumes de moment basé sur des informations statistiques des régions de support sphériques centrées sur un voxel. Deux de ces modèles sont ensuite pris en compte dans l'analyse vidéo pour mettre en évidence des images/volumes de moment. Afin d'encoder les images basées sur le moment, nous nous adressons à l'opérateur CLSP, une variante des modèles binaires locaux terminés (CLBP). De plus, notre opérateur xLDP, une extension des modèles de dérivés locaux (LDP) dans un contexte de codage complémentaire, est introduit pour capturer les caractéristiques spatio-temporelles basés sur les volumes des moments. Pour la représentation DT basée sur les filtrages Gaussiens, nous étudierons de nombreux types de filtrages dans l'étape de prétraitement d'une vidéo pour mettre en évidence des caractéristiques robustes. Après cette étape, les sorties sont codées par des variantes de LBP pour construire les descripteurs de TD. Plus concrètement, nous exploitons les noyaux gaussiens et des variantes de gradients gaussiens d'ordre élevé pour le filtrage. En particulier, nous introduisons un nouveau noyau de filtrage (DoDG) en tenant compte de la différence des gradients gaussiens, qui permet de mettre en évidence des composants robustes filtrés par DoDG pour construire des descripteurs efficaces en maintenant une petite dimensionalité. Parallèlement aux filtrages gaussiens, certains novels opérateurs sont introduits pour répondre à différents contextes du codage TD local: CAIP, une adaptation de CLBP pour résoudre le problème proche de zéro causé par des caractéristiques bipolaires; LRP, basé sur un concept de cube carré de voisins locaux; CHILOP, une formulation généralisée de CLBP. Les résultats de reconnaissance TD ont validé que nos propositions fonctionnent de manière significative par rapport à l'état de l'art. Certaines d'entre elles ont des performances très proches des approches d'apprentissage profond. De plus, nos descripteurs qui ont une dimensionalité très petite par rapport à celle des méthodes d'apprentissage profond sont appréciées pour les applications mobiles.
Fichier principal
Vignette du fichier
NGUYEN_2020TOUL0018.pdf (18.47 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03408028 , version 1 (28-10-2021)

Identifiants

  • HAL Id : tel-03408028 , version 1

Citer

Thanh Tuan Nguyen. Efficient Representations of Dynamic Textures. Signal and Image Processing. Université de Toulon, 2020. English. ⟨NNT : 2020TOUL0018⟩. ⟨tel-03408028⟩
193 Consultations
22 Téléchargements

Partager

Gmail Facebook X LinkedIn More