Deep learning in public health, and contributions to statistical learning - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Deep learning in public health, and contributions to statistical learning

Apprentissage profond en santé publique, et contributions en apprentissage statistique

Résumé

In this thesis, we make some contributions to the theoretical and numerical studies of some machine learning problems, as well as the application of deep learning on the public health data. The first contribution introduces a new model ZiMM (Zero-inflated Mixture of Multinomial distributions), and an Encoder-Decoder (ED) end-to-end deep neural networks architecture, modelling the healthcare pathways for post-surgical complications prediction. ZiMM-ED is applied on the healthcare claims data coming from the French national system of health data (SNDS), which is a non-clinical database, only containing timestamped reimbursement codes for drugs purchases, medical procedures and hospital diagnoses. In particular, we consider the complication until the 18-th month after the surgery, which is also blurry since we only observe this from the purchase of drugs from a specific family. Our experiments show that ZiMM-ED improves several baselines in terms of prediction performance. At the same time, ZiMM-ED paves the way for leveraging such a dataset with little pre-processing, using deep neural networks. The second contribution focuses on the theoretical study of contrastive representation learning, a technique recently becoming popular and experimentally shown to be efficient for self-supervised learning. Relying on some previous works introducing the theoretical framework, we extend the guarantees for the quality of the representations learned during the pre-training phase, with the contrastive loss and multiple negative samples, the quality being measured by the predictive performance of some down-stream supervised tasks. Furthermore, we provide a convergence guarantee for the minimization of the contrastive training error with gradient descent of an over-parametrized neural network encoder. These theoretical results, combined with some illustrative experiments, open doors for a better understanding of the typical pre-training - fine-tuning practices. Next, the third contribution consists of introducing a new algorithm of type random forest, that we name WildWood. While the standard random forest algorithm uses bootstrap out-of-bag samples to compute out-of-bag score, WildWood uses these samples to produce improved predictions given by an aggregation of all the possible sub-trees for each fully-grown tree in the forest: this computation is precise and efficient thanks to the context tree weighting algorithm. We show that theoretically, the loss of such an aggregation is comparable to the loss of the best possible subtree. We propose an open-source Python implementation of WildWood with the histogram strategy which accelerates split finding. Our implementation is fast and competitive compared to other well-established ensemble methods, such as standard random forest and extreme gradient boosting algorithms. Finally, the last chapter of this thesis is devoted to the problem of online logistic regression and considers the regret with respect to the l2-ball of radius B. While it is known that proper algorithms with a regret logarithmic in the number of rounds n necessarily suffer from an exponential factor in B, some improper algorithms, Bayesian and non-Bayesian, were recently introduced with better regret guarantees. For the purpose of obtaining an optimal regret guarantee, we introduce two improper non-Bayesian algorithms, OSMP and AOSMP, based on the one-step minmax strategy, with the exact loss function for OSMP, and an approximated loss function for AOSMP. Our regret analysis relies, among others, on the generalized self-concordance property of the logistic function. For OSMP, although we find an upper-bound for the instant regrets, we explain why obtaining improved regret upper-bounds is a difficult question, to which AOSMP brings an answer similar to the state-of-the-art one.
Dans cette thèse, nous apportons quelques contributions à l'étude théorique et numérique de certains problèmes de l'apprentissage statistique, ainsi que l'application de l'apprentissage profond aux données de la santé publique. La première contribution consiste à introduire un nouveau modèle appelé ZiMM (Zero-inflated Mixture of Multinomial distributions), et une architecture Encodeur-Décodeur (ED) de réseaux de neurones profonds entraînés de-bout-en-bout, modélisant les parcours de soins pour la prédiction des complications post-chirurgicales. ZiMM-ED est appliqué aux données de santé de remboursement de soins provenant du Système National des Données de Santé (SNDS) en France, qui est une base de données non-clinique, contenant seulement les codes de remboursement datés d'achats de médicaments et des diagnostics hospitaliers. En particulier, nous considérons les complications jusqu'au 18e mois après la chirurgie, ce qui correspond à des observations "floues" car seulement observées à partir des achats de médicaments d'une famille spécifique. Nos expériences montrent les améliorations en termes de performance prédictive de ZiMM-ED par rapport à plusieurs modèles de référence. ZiMM-ED ouvre la voie de l'exploitation d'un tel jeu de données avec peu de pré-traitement à grâce aux réseaux de neurones profonds. La deuxième contribution porte sur l'étude théorique de l'apprentissage contrastif de représentation. En se basant sur quelques résultats proposant des cadres d'étude théoriques, nous étendons la garantie pour la qualité des représentations apprises dans la phase pré-entrainement non-supervisé avec une perte contrastive et de multiples échantillons négatifs, la qualité étant mesurée en termes de performance prédictive pour les tâches supervisées en aval. En outre, nous fournissons une garantie de convergence quant à la minimisation de la perte contrastive avec la descente de gradient pour un encodeur de réseaux de neurones sur-paramétré. Ces résultats théoriques, combinant des expériences numériques, ouvrent des portes pour une meilleure compréhension des pratiques de pré-entrainement - affinement très utilisées aujourd'hui en apprentissage profond. La troisième contribution consiste à introduire un nouvel algorithme de type forêt aléatoire, que nous nommons WildWood. WildWood utilise les échantillons out-of-bag pour améliorer les prédictions en calculant l'agrégation de tous les sous-arbres possibles de chaque arbre dans la forêt : ce calcul est exact et efficace grâce à l'algorithme de context tree weighting. Nous montrons que théoriquement, la perte induite par une telle agrégation est comparable à celle du meilleur sous-arbre possible. Nous proposons une implémentation Python open-source de WildWood avec une stratégie d'histogramme qui permet d'accélérer la recherche des coupures impliquées dans la construction des arbres. Notre implémentation est rapide et compétitive en comparaison avec d'autres algorithmes ensemblistes bien connus. Enfin, le dernier chapitre de cette thèse est consacré à la régression logistique en ligne et considère le regret par rapport à la boule l2 de rayon B. Alors qu'il est connu que les algorithmes propres avec regret logarithmique en le nombre d'itérations n subissent nécessairement un facteur exponentiel en B dans leur borne de regret, quelques algorithmes impropres, bayésiens et non-bayésiens, ont été introduits récemment avec des meilleures garanties. Dans le but d'obtenir une garantie de regret optimale, nous proposons deux algorithmes impropres et non-bayésiens, OSMP et AOSMP, reposant sur une stratégie "minmax à une étape", avec la fonction de perte exacte pour OSMP, et une fonction de perte approchée pour AOSMP. Pour OSMP, malgré une borne supérieure obtenue pour les regrets instantanés, nous expliquons en quoi l'amélioration des bornes de regret est une question difficile, à laquelle AOSMP apporte une réponse comparable à l'état de l'art de la garantie de regret.
Fichier principal
Vignette du fichier
va_Yu_Yiyang.pdf (11.82 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04395906 , version 1 (15-01-2024)

Identifiants

  • HAL Id : tel-04395906 , version 1

Citer

Yiyang Yu. Deep learning in public health, and contributions to statistical learning. Statistics [math.ST]. Université Paris Cité, 2022. English. ⟨NNT : 2022UNIP7209⟩. ⟨tel-04395906⟩
45 Consultations
21 Téléchargements

Partager

Gmail Facebook X LinkedIn More