Robust and scalable probabilistic machine learning methods with applications to the airline industry - Archive ouverte HAL Access content directly
Theses Year : 2021

Robust and scalable probabilistic machine learning methods with applications to the airline industry

Méthodes d'apprentissage automatique probabilistes, robustes et à grande échelle avec des applications à l'industrie aérienne

(1)
1

Abstract

In the airline industry, price prediction plays a significant role both for customers and travel companies. The former are interested in knowing the price evolution to get the cheapest ticket, the latter want to offer attractive tour packages and maximize their revenue margin. In this work we introduce some practical approaches to help travelers in dealing with uncertainty in ticket price evolution and we propose a data-driven framework to monitor time-series forecasting models' performance. Stochastic Gradient Descent (SGD) represents the workhorse optimization method in the field of machine learning and this is true also for distributed systems, which in last years are increasingly used for complex models trained on massive datasets. In asynchronous systems workers can use stale versions of the parameters, which slows SGD convergence. In this thesis we fill the gap in the literature and study sparsification methods in asynchronous settings. We provide a concise convergence rate analysis when the joint effects of sparsification and asynchrony are taken into account, and show that sparsified SGD converges at the same rate of standard SGD. Recently, SGD has played an important role also as a way to perform approximate Bayesian Inference. Stochastic gradient MCMC algorithms use indeed SGD with constant learning rate to obtain samples from the posterior distribution. Despite some promising results restricted to simple models, most of the existing works fall short in easily dealing with the complexity of the loss landscape of deep models. In this thesis we introduce a practical approach to posterior sampling, which requires weaker assumptions than existing algorithms.
Dans le secteur aérien, la prévision des prix joue un rôle important tant pour les clients que pour les agences de voyage. Dans cette thèse, nous présentons quelques approches pratiques pour aider les voyageurs à faire face à l'incertitude dans l'évolution du prix des billets et nous proposons un cadre basé sur des données pour surveiller les performances des modèles de prévision de séries chronologiques. La descente de gradient stochastique (SGD) représente la méthode d'optimisation plus utilisée dans le domaine de l'apprentissage automatique et cela est également vrai pour les systèmes distribués, qui ces dernières années sont de plus en plus utilisés pour des modèles complexes formés sur des ensembles de données massifs. Dans les systèmes asynchrones, les travailleurs peuvent utiliser des versions obsolètes des paramètres, ce qui ralentit la convergence SGD. Dans cette thèse, nous fournissons une analyse concise du taux de convergence lorsque les effets conjoints de la sparsification et de l'asynchronie sont pris en compte, et montrons que le SGD clairsemé converge au même taux que le SGD standard. Récemment, SGD a également joué un rôle important en tant que moyen d'effectuer une inférence bayésienne approximative. Les algorithmes MCMC à gradient stochastique utilisent SGD avec un taux d'apprentissage constant pour obtenir des échantillons à partir de la distribution postérieure. Dans cette thèse, nous introduisons une approche pratique de l'échantillonnage postérieur, qui nécessite des hypothèses plus faibles que les algorithmes existants.
Fichier principal
Vignette du fichier
CANDELA_Rosa_2021.pdf (2.2 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03665774 , version 1 (12-05-2022)

Identifiers

  • HAL Id : tel-03665774 , version 1

Cite

Rosa Candela. Robust and scalable probabilistic machine learning methods with applications to the airline industry. Performance [cs.PF]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS078⟩. ⟨tel-03665774⟩
65 View
12 Download

Share

Gmail Facebook Twitter LinkedIn More