Handling heterogeneous and MNAR missing data in statistical learning frameworks : imputation based on low-rank models, online linear regression with SGD, and model-based clustering - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Handling heterogeneous and MNAR missing data in statistical learning frameworks : imputation based on low-rank models, online linear regression with SGD, and model-based clustering

Gérer les données manquantes MNAR et hétérogènes dans différents scénarios d’apprentissage statistique : imputation basée sur des modèles à faible rang, régression linéaire en ligne avec un algorithme de descente de gradient stochastique, et partitionnement de données avec des modèles de mélange

Résumé

The statistical analysis of growing masses of data represents a real added value for numerous and varied applications. Nevertheless, one of the ironies of the increased data collection is that missing data are unavoidable: the more data there are, the more missing data there are. The goal of this PhD thesis is to propose new statistical methods to handle missing values in several supervised and unsupervised machine learning scenarios, particularly when the data can be Missing Not At Random (MNAR), i.e. when the unavailability of values depends on the missing values themselves and values of other variables. A particular attention has been paid to derive methods relying on both strong theoretical and practical aspects, and meeting concrete needs in applications. First, low-rank models either with fixed or random effects are studied when MNAR values on several variables can occur. Second we address the case of online linear regression with missing covariates using a debiased averaged stochastic gradient algorithm. Furthermore, we investigate model-based clustering with MNAR data. Finally, we present our collaborative platform for reproducible research on missing values processing, that bundles classical and state-of-the-art methods.
En réponse à la collecte croissante de données, l'analyse statistique représente une réelle opportunité pour les applications, nombreuses et variées. Néanmoins, l'une des ironies du “big data” est que les données manquantes sont inévitables. Le but de cette thèse est de proposer de nouvelles méthodes statistiques pour traiter les valeurs manquantes dans plusieurs cas d'apprentissage supervisé et non supervisé, en particulier lorsque les données sont Missing Not At Random (MNAR), c.à.d. lorsque le manque des valeurs dépend des valeurs manquantes elles-mêmes et des valeurs d'autres variables. Une attention particulière est donnée à l'élaboration de méthodes aux fondements, à la fois théoriques et pratiques, solides, répondant aux besoins concrets posés par les applications. Nous étudions d’abord les modèles à faible rang avec effets fixes ou aléatoires lorsqu’il y a des valeurs MNAR sur plusieurs variables. Puis, nous abordons le cas de la régression linéaire en ligne avec des covariables manquantes en utilisant un algorithme de gradient stochastique moyenné débiaisé, ainsi que le cas du partitionnement de données à l’aide de modèles de mélange lorsqu’il y a des valeurs MNAR. Enfin, nous présentons notre plateforme collaborative sur le traitement des valeurs manquantes, pensée pour permettre la reproductibilité de la recherche et regroupant des méthodes classiques et récentes.
Fichier principal
Vignette du fichier
SPORTISSE_Aude_2021.pdf (5.24 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03722429 , version 1 (13-07-2022)

Identifiants

  • HAL Id : tel-03722429 , version 1

Citer

Aude Sportisse. Handling heterogeneous and MNAR missing data in statistical learning frameworks : imputation based on low-rank models, online linear regression with SGD, and model-based clustering. Statistics [math.ST]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS506⟩. ⟨tel-03722429⟩
67 Consultations
75 Téléchargements

Partager

Gmail Facebook X LinkedIn More