Modèles probabilistes et factorisation matricielle non-négative : cadre unifié pour les données textuelles - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Nonnegative Matrix Factorization and Probabilistic Models : A unified framework for text data

Modèles probabilistes et factorisation matricielle non-négative : cadre unifié pour les données textuelles

Résumé

Since the exponential growth of available Data (Big data), dimensional reduction techniques became essential for the exploration and analysis of high-dimensional data arising from many scientific areas. By creating a low-dimensional space intrinsic to the original data space, theses techniques offer better understandings across many data Science applications. In the context of text analysis where the data gathered are mainly nonnegative, recognized techniques producing transformations in the space of real numbers (e.g. Principal component analysis, Latent semantic analysis) became less intuitive as they could not provide a straightforward interpretation. Such applications show the need of dimensional reduction techniques like Nonnegative Matrix factorization (NMF) useful to embed, for instance, documents or words in the space of reduced dimension. By definition, NMF aims at approximating a nonnegative matrix by the product of two lower dimensionalnonnegative matrices, which results in the solving of a nonlinear optimization problem. Note however that this objective can be harnessed to document/word clustering domain even it is not the objective of NMF. In relying on NMF, this thesis focuses on improving clustering of large text data arising in the form of highly sparse document-term matrices. This objective is first achieved, by proposing several types of regularizations of the original NMF objective function. Setting this objective in a probabilistic context, a new NMF model is introduced bringing theoretical foundations for establishing the connection between NMF and Finite Mixture Models of exponential families leading, therefore, to offer interesting regularizations. This allows to set NMF in a real clustering spirit. Finally, a Bayesian Poisson Latent Block model is proposed to improve document andword clustering simultaneously by capturing noisy term features. This can be connected to NMTF (Nonnegative Matrix factorization Tri-factorization) devoted to co-clustering. Experiments on real datasets have been carried out to support the proposals of the thesis.
Depuis l’avènement du Big data, les techniques de réduction de la dimension sont devenues essentielles pour l’exploration et l’analyse de données hautement dimensionnelles issues de nombreux domaines scientifiques. En créant un espace à faible dimension intrinsèque à l’espace de données original, ces techniques offrent une meilleure compréhension dans de nombreuses applications de la science des données. Dans le contexte de l’analyse de textes où les données recueillies sont principalement non négatives, les techniques couramment utilisées produisant des transformations dans l’espace des nombres réels (par exemple, l’analyse en composantes principales, l’analyse sémantique latente) sont devenues moins intuitives car elles ne pouvaient pas fournir une interprétation directe. De telles applications montrent la nécessité de techniques de réduction de la dimensionnalité comme la factorisation matricielle non négative (NMF), utile pour intégrer par exemple, des documents ou des mots dans l’espace de dimension réduite. Par définition, la NMF vise à approximer une matrice non négative par le produit de deux matrices non négatives de plus faible dimension, ce qui aboutit à la résolution d’un problème d’optimisation non linéaire. Notons cependant que cet objectif peut être exploité dans le domaine du regroupement de documents/mots, même si ce n’est pas l’objectif de la NMF. En s’appuyant sur la NMF, cette thèse se concentre sur l’amélioration de la qualité du clustering de grandes données textuelles se présentant sous la forme de matrices document-terme très creuses. Cet objectif est d’abord atteint en proposant plusieurs types de régularisations de la fonction objectif originale de la NMF. En plaçant cet objectif dans un contexte probabiliste, un nouveau modèle NMF est introduit, apportant des bases théoriques pour établir la connexion entre la NMF et les modèles de mélange finis de familles exponentielles, ce qui permet d’offrir des régularisations intéressantes. Cela permet d’inscrire, entre autres, la NMF dans un véritable esprit de clustering. Enfin, un modèle bayésien de blocs latents de Poisson est proposé pour améliorer le regroupement de documents et de mots simultanément en capturant des caractéristiques de termes bruyants. Ce modèle peut être relié à la NMTF (Nonnegative Matrix Tri-Factorization) consacrée au co-clustering. Des expériences sur des jeux de données réelles ont été menées pour soutenir les propositions de la thèse.
Fichier principal
Vignette du fichier
TheseFEBRISSY.pdf (6.04 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04154796 , version 1 (07-07-2023)

Identifiants

  • HAL Id : tel-04154796 , version 1

Citer

Mickaël Febrissy. Modèles probabilistes et factorisation matricielle non-négative : cadre unifié pour les données textuelles. Traitement du texte et du document. Conservatoire national des arts et metiers - CNAM, 2021. Français. ⟨NNT : 2021CNAM1291⟩. ⟨tel-04154796⟩
35 Consultations
40 Téléchargements

Partager

Gmail Facebook X LinkedIn More