Real-Parameter Black-Box Optimisation: Benchmarking and Designing Algorithms
Optimisation Continue Boîte Noire : Comparaison et Conception d'Algorithmes
Résumé
In continuous optimisation a given problem can be stated as follows: given the objective function f from R^n to R with n the dimension of the problem, find a suitable vector that minimises f up to an arbitrary numerical precision. In this context, the black-box scenario assumes that no information but the evaluation of f is available to guide its optimisation. In the first part, we study the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) which is a well-established stochastic approach for solving Black-Box Optimisation (BBO) problems. We show its time and space complexity limits when addressing high-dimensional BBO problems. To overcome such limits, we provide variants of the CMA-ES that update only block-diagonal elements of the covariance matrix, and exploit the separability of the problem. We show that on non-separable functions these variants can outperform the standard CMA-ES, given that the dimension of the problem is large enough. In the second part, we define and exploit an experimental framework BBO Benchmarking (BBOB) in which practitioners of BBO can test and compare algorithms on function testbeds. Results show dependencies on the budget (number of function evaluations) assigned to the optimisation of the objective function. Some methods such as NEWUOA or BFGS are more appropriate for small budgets. The CMA-ES approach using restarts and a population size management policy performs well for larger budgets. The COmparing Continuous Optimisers (COCO) software, used for the BBOB, is described technically in the third part. COCO implements our experimental framework as well as outputs the results that we have been exploiting.
En optimisation continue, un problème donné consiste à trouver l'optimum d'une fonction objectif f définie dans R^n à valeur dans R. Dans ce contexte, le scénario boîte noire fait l'hypothèse que seule l'évaluation de f nous fournit de l'information. Dans une première partie, nous étudions l'algorithme CMA-ES, stratégie d'évolution avec adaptation de la matrice de covariance ; une approche reconnue pour résoudre les problèmes d'optimisation boîte noire. Nous démontrons les limites de cet algorithme en terme de complexités spatiale et temporelle pour faire face à des problèmes à grande dimensionalité. Pour dépasser ces limites, nous proposons des variantes de CMA-ES qui ne mettent à jour que les éléments diagonaux par bloc de la matrice de covariance, qui exploitent donc la séparabilité. Nous montrons que ces variantes peuvent avoir de meilleures performances que CMA-ES sur des fonctions non-séparables à condition que le problème considéré ait une dimension assez grande. Dans une seconde partie, nous définissons et exploitons un cadre expérimental pour la comparaison systématique de résultats en optimisation boîte noire, où les pratiquants du domaine peuvent ainsi tester et comparer des algorithmes sur des fonctions artificielles. Nos résultats montrent la dépendance des performances des algorithmes en fonction du budget alloué à l'optimisation. Des méthodes classiques telles que NEWUOA ou BFGS sont ainsi appropriées à des petits budgets. L'approche CMA-ES avec redémarrage et contrôle de la taille de population obtient de bons résultats pour des budgets plus larges. Le logiciel COCO pour COmparing Continuous Optimisers, utilisé pour faire ces comparaisons systématiques est décrit techniquement dans une troisième partie. COCO sert d'implémentation de notre cadre expérimental et permet en plus de fournir des résultats tels que ceux que nous exploitons dans ce document.