Unsupervised statistical learning with latent block models on dynamic discrete data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Unsupervised statistical learning with latent block models on dynamic discrete data

Apprentissage statistique non supervisé avec des modèles à blocs latents sur des données discrètes dynamiques

Résumé

In such a connected world, we generate an increasing quantity of information of various kinds in our daily lives, which requires automatic and adapted methods for the detection, synthesis and understanding of the phenomena they describe.Over the years, statistical learning has continually evolved, offering various techniques to address the challenges posed by this enormous amount of data. In particular, unsupervised learning plays a critical role in discovering patterns in data without previously defined labels. An effective method for summarizing and visualizing high-dimensional data is clustering, which brings together similar observations based on common characteristics. By extending clustering to simultaneously group observations and features, an approach known as co-clustering, it is possible to highlight complex relationships between observations or variables.This thesis focuses on the co-clustering of discrete time-dependent data, an essential task for summarizing the enormous amounts of data generated in various domains. Here we offer three models designed to meet this challenge. First, we present the dynamic latent block model (dLBM), a retrospective analysis approach that detects temporal breaks within a sequence of data matrices. Relying on non-homogeneous Poisson processes to model interactions between rows and columns, dLBM segments continuous time intervals, generating a row and column segmentation for each time interval.Building on dLBM, we then present an extension that provides greater flexibility in how row and column groups evolve over time and accounts for high data sparsity. This extended model incorporates systems of ordinary differential equations to model abrupt changes in both group membership and model data sparsity over time.Finally, we propose a natural evolution of the proposed models, making them able to operate dynamically on data flow. This new method of model inference does not require a priori knowledge of all the data, making real-time analysis feasible. By exploiting LSTM (Long Short-Term Memory) neural networks, we dynamically model the evolution of model parameters. We also introduce an online breakpoint detection method that provides alerts for abrupt changes in data evolution.The three proposed methods were applied to pharmacovigilance, a public health discipline dedicated to monitoring and evaluating the safety of medical products. In pharmacovigilance, it is essential to detect changes in drug group memberships and adverse effects in real time to ensure rapid identification and response in public health matters.
Dans un monde de plus en plus connecté, nous générons dans nos vies quotidiennes une quantité croissante d'informations de natures diverses, ce qui nécessite des méthodes automatiques et adaptées pour la détection, la synthèse et la compréhension des phénomènes qu'elles décrivent.Au fil des années, l'apprentissage statistique a continuellement évolué, offrant diverses techniques pour relever les défis posés par cette énorme quantité de données. En particulier, l'apprentissage non supervisé joue un rôle essentiel dans la découverte de motifs dans les données sans étiquettes préalablement définies. Une méthode efficace pour résumer et visualiser des données de grande dimension est le clustering, qui rassemble des observations similaires en fonction de caractéristiques communes. En étendant le clustering pour grouper simultanément les observations et les caractéristiques, approche connue sous le nom de co-clustering, il est possible de mettre en évidence des relations complexes entre observations ou variables.Cette thèse s'intéresse au co-clustering de données discrètes dépendantes du temps, une tâche essentielle pour résumer les énormes quantités de données générées dans divers domaines. Nous proposons ici trois modèles conçus pour relever ce défis. Tout d'abord, nous présentons le modèle dynamique à blocs latents (dLBM), une approche d'analyse rétrospective qui détecte les ruptures temporelles au sein d'une séquence de matrices de données. En s'appuyant sur des processus de Poisson non homogènes pour modéliser les interactions entre les lignes et les colonnes, dLBM segmente des intervalles de temps continus, générant une segmentation en lignes et colonnes pour chaque intervalle de temps.En nous appuyant sur dLBM, nous présentons ensuite une extension qui offre une plus grande une flexibilité dans la manière dont les groupes en ligne et en colonne évoluent dans le temps et qui tient compte de la grande parcimonie des données. Ce modèle étendu intègre des systèmes d'équations différentielles ordinaires pour modéliser les changements abrupts à la fois dans l'appartenance aux groupes et modéliser la parcimonie des données au cours du temps.Enfin, nous proposons une évolution naturelle des modèles proposés, les rendant aptes à fonctionner de manière dynamique sur flux de données. Cette nouvelle méthode d'inférence du modèle ne requiert pas la connaissance a priori de l'ensemble des données, rendant l'analyse en temps réel réalisable. En exploitant les réseaux neuronaux LSTM (Long Short-Term Memory), nous modélisons dynamiquement l'évolution des paramètres du modèle. Nous introduisons également une méthode de détection de points de ruptures en ligne qui fournit des alertes pour les changements brusques dans l'évolution des données.Les trois méthodes proposées ont été appliquées à la pharmacovigilance, un discipline de santé publique dédiée à la surveillance et à l'évaluation de la sécurité des produits médicaux. En pharmacovigilance, il est essentiel de détecter en temps réel les changements dans les appartenances aux groupes de médicaments et des effets indésirables afin d'assurer une identification et une réponse rapides en matière de santé publique.
Fichier principal
Vignette du fichier
2023COAZ4097.pdf (36.71 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04531784 , version 1 (04-04-2024)

Identifiants

  • HAL Id : tel-04531784 , version 1

Citer

Giulia Marchello. Unsupervised statistical learning with latent block models on dynamic discrete data. Statistics [math.ST]. Université Côte d'Azur, 2023. English. ⟨NNT : 2023COAZ4097⟩. ⟨tel-04531784⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More