Elastic resource allocation for query optimization
Allocation de ressources élastique pour l'optimisation de requêtes
Résumé
Cloud computing has become a widely used way to query databases. Today's cloud providers offer a variety of services implemented on parallel architectures. Performance targets and possible penalties in case of violation are established in advance in a contract called Service-Level Agreement (SLA). The provider's goal is to maximize its benefit while respecting the needs of tenants. Before the birth of cloud systems, several studies considered the problem of resource allocation for database querying in parallel architectures. The execution plan for each query is a graph of dependent tasks. The expression "Resource allocation" in this context often implies the placement of tasks within available resources and also their scheduling that takes into account dependencies between tasks. The main goal was to minimize query execution time and maximize the use of resources. However, this goal does not necessarily guarantee the best economic benefit for the provider in the cloud. In order to maximize the provider's benefit and meet the needs of tenants, it is important to include the economic model and SLAs in the resource allocation process. Indeed, the needs of tenants in terms of performance are different, so it would be interesting to allocate resources in a way that favors the most demanding tenants and ensure an acceptable quality of service for the least demanding tenants. In addition, in the cloud the number of assigned resources can increase/decrease according to demand (elasticity) and the monetary cost depends on the number of assigned resources, so it would be interesting to set up a mechanism to automatically choose the right moment to add or remove resources according to the load (auto-scaling). In this thesis, we are interested in designing elastic resource allocation methods for database queries in the cloud. This solution includes: (1) a static two-phase resource allocation method to ensure a good compromise between provider benefit and tenant satisfaction, while ensuring a reasonable allocation cost, (2) an SLA-driven resource reallocation to limit the impact of estimation errors on the benefit and (3) an auto-scaling method based on reinforcement learning that meet the specificities of database queries. In order to evaluate our contributions, we have implemented our methods in a simulated cloud environment and compared them with state-of-the-art methods in terms of monetary cost of the execution of queries as well as the allocation cost.
Le Cloud Computing est devenu un moyen largement utilisé pour l'interrogation de bases de données. Les fournisseurs de cloud actuels proposent une variété de services implémentés sur des architectures parallèles. Les objectifs de performances et les éventuelles pénalités dans le cas de violation sont établis au préalable dans un contrat appelé Service-Level Agreement (SLA). Le but du fournisseur est de maximiser son bénéfice tout en respectant les besoins des locataires. Avant la naissance des systèmes cloud, plusieurs travaux ont considéré le problème d'allocation de ressources pour l'interrogation de bases de données sur des architectures parallèles. Le plan d'exécution de chaque requête est un graphe de tâches dépendantes. L'expression "allocation de ressources" dans ces travaux sous-entend souvent le placement des tâches sur les ressources disponibles et aussi leur ordonnancement qui tient compte des liens de dépendance. Le but consistait principalement à minimiser le temps d'exécution de requêtes et maximiser l'utilisation de ressources. Par contre, dans le cloud ce but ne garantit pas nécessairement le meilleur bénéfice économique pour le fournisseur. Afin de maximiser le bénéfice et satisfaire les besoins des locataires, il est essentiel d'inclure le modèle économique et les SLAs dans le processus d'allocation de ressources. En effet, les besoins des locataires en terme de performances sont différents, il serait donc intéressant d'allouer les ressources d'une façon qui favorise les locataires les plus exigeants en assurant quand même une certaine qualité de service pour les locataires les moins exigeants. De plus, dans le cloud le nombre de ressources attribuées peut augmenter/diminuer selon la demande (élasticité) et le coût monétaire dépend du nombre de ressources attribuées, il devient donc intéressant de mettre en place un mécanisme pour choisir automatiquement le moment adéquat pour ajouter ou supprimer des ressources en fonction de la charge (dimensionnement automatique). Nous nous intéressons dans le cadre de cette thèse à la conception de méthodes d'allocation de ressources élastique pour les services d'interrogation de bases de données dans le cloud : (1) une méthode d'allocation de ressources statique en deux phases pour assurer un bon compromis entre le bénéfice du fournisseur et la satisfaction des locataires, tout en garantissant un coût d'allocation raisonnable, (2) une méthode de réallocation de ressources dirigée par les SLAs pour limiter l'impact des erreurs d'estimation sur le bénéfice et (3) une méthode de dimensionnement automatique basée sur l'apprentissage par renforcement qui répond aux spécificités de l'interrogation de bases de données. Afin d'évaluer nos contributions, nous avons implémenté nos méthodes dans un environnement cloud simulé et nous les avons comparées à des méthodes de l'état de l'art en terme de coût monétaire de l'exécution de requêtes ainsi que le coût d'allocation.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...