Advances in Tensor Analysis with Applications in Text Mining
Avancées en analyse tensorielle et application à la fouille de textes
Résumé
Tensors or multi-way arrays are useful tools to identify unknown quantitiesthanks to the uniqueness of their decomposition. Tensor decompositionshave been widely applied to obtain unknown components with physicalmeanings in many applications such as medical image and signal processing,hyperspectral images analysis, chemometrics, etc.In this thesis, we investigate the application of tensor decompositionfor probability estimations, which are required for some targeted data/textmining tasks such as unsupervised clustering of data/documents. Besidescriticizing utilized tensor decomposition algorithms for probability estimations,we propose to apply some proper constrained tensor decompositions,which result in more reliable and accurate estimations. Moreover, we introducean algorithm for constrained tensor decomposition, called SimpleForward-Backward Splitting (SFBS), which is based on proximal minimizationapproach. SFBS performs better than state-of-the-art in decomposingnoisy tensors while computationally less expensive.In addition, to evaluate the performance of tensor decomposition algorithms,we introduce an index called CorrIndex, which provides interpretableperformance bounds, while keeping computational complexity to a reasonablelevel. Furthermore, we propose a method of moment estimation (standardaveraging), which estimates the second and third order moments, withthe same performance of state-of-the-art, but based on a much simpler concept,i.e. weighted averaging. Moreover, standard averaging performs betterin small dimensions, and does not have strong limitation on the minimumnumber of observed data, unlike state-of-the-art.Keywords — Tensor decomposition, Text mining, Unsupervised clustering,Hidden/latent variable, Third order moments, Forward-Backward Splitting,Proximal operator, Performance index, Permutation and scale ambiguity
Les tenseurs - ou les tableaux multi-indices - sont des outils utiles pour identifier des quantités inconnues grâce à l'unicité de leur décomposition. Les décompositions tensorielles ont été largement utilisées pour obtenir des composantes inconnues ayant une signification physique dans de nombreuses applications, telles que le traitement d'images et de signaux médicaux, l'analyse d'images hyperspectrales, la chimiométrie, etc.Dans cette thèse, nous étudions l'application de la décomposition tensorielle pour l'estimation de probabilités, qui sont nécessaires pour certaines tâches ciblées de fouille de données/textes telles que le groupement non supervisé de données/documents. En plus de critiquer les algorithmes de décomposition tensorielle utilisés pour l'estimation de probabilités, nous proposons des décompositions tensorielles sous des contraintes appropriées, qui donnent lieu à des estimations plus fiables et plus précises. De plus, nous introduisons un algorithme de décomposition tensorielle contrainte, appelé Simple Forward-Backward Splitting (SFBS), qui est basé sur une approche de minimisation proximale. SFBS est plus performant que l'état de l'art dans la décomposition des tenseurs bruités tout en étant moins coûteux en calcul.En outre, pour évaluer la performance des algorithmes de décomposition tensorielle, nous introduisons un indice appelé CorrIndex, qui fournit des limites de performance interprétables, tout en maintenant la complexité de calcul à un niveau raisonnable. De plus, nous proposons une méthode d'estimation des moments (moyenne standard), qui estime les moments d'ordre deux et trois, avec les mêmes performances que l'état de l'art, mais basée sur un concept beaucoup plus simple, la moyenne pondérée. De plus, le calcul de la moyenne standard est plus performant dans les petites dimensions et n'est pas limité par le nombre minimum de données observées, contrairement à l'état de l'art.Mots clés — Décomposition tensorielle, Fouille de texte, Clustering non-supervisé, Variable cachée/latente, Moment de troisième ordre, Fractionnement avant-arrière,Opérateur proximal, Indice de performance, Ambiguïté d'échelle et de permutation
| Origine | Version validée par le jury (STAR) |
|---|