Learning to bid : rare events prediction and auction policy study
Apprendre à enchérir : prédiction d'évènement rare et choix de stratégie
Résumé
This thesis focuses on the improvement of real-time bidding for display advertising. We consider the problem through two main issues: the prediction of clicks probability and the bid optimization which, based on this estimate, should regulate the bids and the budget in order to maximize the number of clicks.Clicks on online ads are rare events. Predicting this type of event requires the use of specific models and evaluation functions. We study these performances under several evaluation functions allowing us to show some biases induced by classical performance measures and models. We present a performance measure specific to RTB that corrects the biases related to rare events.We study the performance of several auction strategies and show that reinforcement learning does not bring significant improvement over other approaches, among other reasons because of convergence problems of this type of approach, notably due to the formulation of the states of the Markov decision process.We present a study on the convergence of reinforcement learning and state formulation learning. We explore the use of autoencoders in order to synthesize a state formulation that would allow a better convergence of reinforcement learning.
Cette thèse porte sur l'amélioration des campagnes enchères pour l'affichage publicitaire en ligne. Nous considérons le problème à travers deux grandes questions : la prédiction de la probabilité de clic permettant d'obtenir une estimation de la valeur d'un affichage, et l'optimisation des enchères qui doit, en se basant sur cette estimation, gérer les montants des ordres et le budget afin d'obtenir le maximum de clics possibles.Les clics sur des publicités en ligne sont des événements rares. La prédiction de ce type d'événements requière l'utilisation de modèles et de fonctions d'évaluation spécifiques. Nous étudions ces performances sous plusieurs fonctions d'évaluation nous permettant de montrer certains biais induits par les mesures de performances classiques. Nous présentons une mesure de performance spécifique au RTB permettant de corriger les biais liés aux événements rares.Nous étudions les performances de plusieurs stratégies d'enchère et montrons que l'apprentissage par renforcement n'apporte pas d'amélioration significative par rapport aux autres approches entre autre à cause des problèmes de convergence de ce type d'approche notamment dues à la formulation des états du processus de décision markovien.Nous présentons une étude sur la convergence de l'apprentissage par renforcement et l'apprentissage de la formulation des états. Nous explorons l'utilisation d'autoencoders afin de synthétiser une formulation des états qui permettrait une meilleure convergence de l'apprentissage par renforcement.
Domaines
Autre [cs.OH]| Origine | Version validée par le jury (STAR) |
|---|