Allocation de ressources par une approche hybride apprentissage automatique et optimisation pour l’hébergement et l’infogérance de services web - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Resource allocation using a hybrid machine learning and optimization approach for hosting and managed web services

Allocation de ressources par une approche hybride apprentissage automatique et optimisation pour l’hébergement et l’infogérance de services web

Etienne Leclercq
  • Fonction : Auteur
  • PersonId : 1229364
  • IdRef : 267765592

Résumé

One of the main challenge in cloud computing is resource management, mainly composed of scheduling workloads and services over the infrastructure. Recent years light virtualisation emergence, through containers, has brought back the resource allocation problem, notably by introducing elasticity. This new virtualization concept has led to new constraints for this allocation problem, such as the absence of a priori knowledge on the resources actually consumed by individuals.To answer this problem and obtain an optimized management of containers assignment on an infrastructure, a two-step methodology is developed, combining unsupervised learning and optimization techniques.An offline assignment heuristic is developed, using a containers clustering according to their consumption profile, in order to obtain a first assignment solution taking these profiles into account.This assignment solution is updated over time by a retro-action loop system, combining the clustering evolution with optimization techniques in an online mode. Clustering is also kept up to date thanks to optimization techniques according to the containers consumptions evolution.We implement our method through the Python library COTS, which configurable interface allows for its use and evaluation with various datasets and parameters.Through the definition and comparison of several criteria related to the micro-services hosting domain, we provide the evaluation of our method efficiency compared to the state of the art.Among these criteria, we show an improvement in energy efficiency from 5% up to 30%. Globally, considering all criteria, performance is improved by an average of 9.1% by our method. A deep analysis of these results and various domain or algorithmic indicators specifies of our method behavior and its usability on different use cases from a real production environment
L'un des principaux défis du cloud computing est la gestion des ressources, qui s'inquiète principalement de la planification des charges de travail et du placement des services sur l'infrastructure. Ces dernières années, l'émergence de la virtualisation légère, à travers les conteneurs, a remis en avant le problème d'allocation des ressources, en introduisant notamment l'élasticité. Cette notion nouvelle pour la virtualisation a entraîné de nouvelles contraintes pour ce problème d'allocation, comme l'absence de connaissance a priori sur les ressources effectivement consommées par les individus. Pour répondre à cette problématique et obtenir une gestion optimisée du placement de conteneurs sur une infrastructure, une méthodologie en deux étapes est développée, combinant des techniques d'apprentissage non supervisé et d'optimisation. Une heuristique de placement offline est développée, utilisant un clustering des conteneurs en fonction de leur profil de consommation, afin d'obtenir une première solution de placement prenant en compte ces profils. Cette solution de placement est mise à jour dans le temps par un système de boucle, combinant l'évolution du clustering avec des techniques d'optimisation dans un mode online. Le clustering est lui aussi maintenu à jour grâce à des méthodes d'optimisation en fonction de l'évolution de consommation des conteneurs. Nous implémentons notre méthode sous la forme d'une librairie Python appelée Continuous Optimization for Time Series (COTS), dont l'interface d'entrée paramétrable permet son utilisation et évaluation dans différents contextes de jeux de données et de configurations. À travers la définition et la comparaison de plusieurs critères liés au domaine de l'hébergement en micro-services nous évaluons l'efficacité de notre méthode par rapport à l'état de l'art. Nous montrons ainsi une amélioration de l'efficacité énergétique allant de 5% à 30% en fonction des contextes métiers. Globalement, en considérant l'ensemble des critères, les performances sont améliorées en moyenne de 9,1% par notre méthode. Une analyse détaillée de ces résultats et de divers indicateurs métiers ou algorithmiques précise le comportement de notre méthode et son utilisabilité sur différents scénarios hérités d'environnements de production réel
Fichier principal
Vignette du fichier
edgalilee_th_2022_leclercq.pdf (3.25 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03997934 , version 1 (20-02-2023)

Identifiants

  • HAL Id : tel-03997934 , version 1

Citer

Etienne Leclercq. Allocation de ressources par une approche hybride apprentissage automatique et optimisation pour l’hébergement et l’infogérance de services web. Algorithme et structure de données [cs.DS]. Université Paris-Nord - Paris XIII, 2022. Français. ⟨NNT : 2022PA131052⟩. ⟨tel-03997934⟩
127 Consultations
55 Téléchargements

Partager

Gmail Facebook X LinkedIn More