Exploring the Intersection of Bayesian Deep Learning and Gaussian Processes - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Exploring the Intersection of Bayesian Deep Learning and Gaussian Processes

Explorer l'intersection entre l'apprentissage profond bayésien et les processus gaussiens

Bogdan Kozyrskiy
  • Fonction : Auteur
  • PersonId : 1231930
  • IdRef : 269740090

Résumé

Deep learning played a significant role in establishing machine learning as a must-have instrument in multiple areas. The use of deep learning poses several challenges. Deep learning requires a lot of computational power for training and applying models. Another problem with deep learning is its inability to estimate the uncertainty of the predictions, which creates obstacles in risk-sensitive applications. This thesis presents four projects to address these problems: We propose an approach making use of Optical Processing Units to reduce energy consumption and speed up the inference of deep models. We address the problem of uncertainty estimates for classification with Bayesian inference. We introduce techniques for deep models that decreases the cost of Bayesian inference. We developed a novel framework to accelerate Gaussian Process regression. We propose a technique to impose meaningful functional priors for deep models through Gaussian Processes.
L'apprentissage profond a joué un rôle significatif dans l'établissement de l'apprentissage automatique comme un instrument indispensable dans plusieurs domaines. L'utilisation de l'apprentissage profond pose plusieurs défis. L'apprentissage profond nécessite beaucoup de puissance de calcul pour entraîner et appliquer des modèles. Un autre problème de l'apprentissage profond est son incapacité à estimer l'incertitude des prédictions, ce qui crée des obstacles dans les applications sensibles aux risques. Cette thèse présente quatre projets pour résoudre ces problèmes: Nous proposons une approche faisant appel à des unités de traitement optique pour réduire la consommation d'énergie et accélérer l'inférence des modèles profonds. Nous abordons le problème des estimations d'incertitude pour la classification avec l'inférence bayésienne. Nous introduisons des techniques pour les modèles profonds qui réduisent le coût de l'inférence bayésienne. Nous avons développé un nouveau cadre pour accélérer la régression des processus gaussiens. Nous proposons une technique pour imposer des priorités fonctionnelles significatives pour les modèles profonds à travers des processus gaussiens.
Fichier principal
Vignette du fichier
Kozyrskiy_Bogdan_these2023_diff.pdf (1.51 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04096033 , version 1 (12-05-2023)

Identifiants

  • HAL Id : tel-04096033 , version 1

Citer

Bogdan Kozyrskiy. Exploring the Intersection of Bayesian Deep Learning and Gaussian Processes. Computer Aided Engineering. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS064⟩. ⟨tel-04096033⟩
110 Consultations
79 Téléchargements

Partager

Gmail Facebook X LinkedIn More