Warping and sampling approaches to non-stationary gaussian process modelling. - Archive ouverte HAL Access content directly
Theses Year : 2017

Warping and sampling approaches to non-stationary gaussian process modelling.

Planification adaptative d'expériences et krigeage non stationnaire : application à la prise en compte des incertitudes dans les études mécaniques en sûreté nucléaire.

(1)
1

Abstract

This work deals with approximating expensive-to-evaluatefunctions exhibiting heterogeneous sensitivity to input perturbationsdepending on regions of the input space. Motivated by real test caseswith high computational costs coming mainly from IRSN nuclear safetystudies, we resort to surrogate models of the numerical simulatorsusing Gaussian processes (GP). GP models are popular for sequentialevaluation strategies in design of experiments under limited evaluationbudget. While it is common to make stationarity assumptions for theprocesses and use sampling criteria based on its variance forexploration, we tackle the problem of accommodating the GP-based designto the heterogeneous behaviour of the function from two angles: firstvia a novel class of covariances (WaMI-GP) that simultaneouslygeneralises existing kernels of Multiple Index and of tensorised warpedGP and second, by introducing derivative-based sampling criteriadedicated to the exploration of high variation regions. The novel GPclass is investigated both through mathematical analysis and numericalexperiments, and it is shown that it allows encoding muchexpressiveness while remaining with a moderate number of parameters tobe inferred. Moreover, exploiting methodological links between waveletsanalysis and non-stationary GP modelling, we propose a new non-stationary GP (Wav-GP) with non-parametric warping. The key point is aniterated estimation of the so-called local scale that approximates thederivative of the warping. Wav-GP is applied to two mechanical casestudies highlighting promising prediction performance. Independently ofnon-stationarity assumptions, we conduct derivations for new variance-based criteria relying on the norm of the GP gradient field. Criteriaand models are compared with state-of-the-art methods on engineeringtest cases. It is found on these applications that some of the proposedgradient-based criteria outperform usual variance-based criteria in thecase of a stationary GP model, but that it is even better to usevariance-based criteria with WaMI-GP, which dominates mostly for smalldesigns and in sequential set up. Other contributions in samplingcriteria address the problem of global optimisation, focusing on theexpected improvement criterion and its multipoint version for parallelbatch evaluations. Closed form formulas and fast approximations areestablished for a generalised version of the criterion and its gradient. Numerical experiments illustrate that the proposed approachesenable substantial computational savings.
Cette thèse traite de l'approximation de fonctions coûteuses à évaluer et présentant un comportement hétérogène selon les régions du domaine d'entrées. Dans beaucoup d’applications industrielles comme celles issues de la sûreté nucléaire et menées à l’IRSN, les codes de calcul de simulation physique ont des coûts numériques importants et leurs réponses sont alors approchées par un modèle. Les modèles par processus gaussien (PG) sont répandus pour construire des plans d'expériences au budget d'évaluations limité. Alors que les méthodes de planifications standard explorent le domaine en partant souvent d'une hypothèse de stationnarité et en utilisant des critères d'échantillonnages basés sur la variance, nous abordons sous deux aspects le problème d'adapter la planification d'expériences par PG aux fonctions à variations hétérogènes : d'une part sur la modélisation, en proposant une nouvelle famille de covariances (WaMI-GP) qui généralise deux noyaux existants (noyaux à indice multiple et noyaux à déformation tensorielle), et d'autre part sur la planification, en définissant et calculant de nouveaux critères d'échantillonnage à partir des dérivées du PG et dédiés à l'exploration de régions à grandes variations. Une analyse théorique de la nouvelle famille de PG ainsi que des expériences numériques montrent à la fois une certaine souplesse de modélisation et un nombre modéré de paramètres de modèle à estimer. Par ailleurs, un travail sur le couplage entre ondelettes et PG a conduit au développement d'un modèle non stationnaire, appelé ici wav-GP, qui utilise l'échelle locale pour approcher la dérivées de la déformation de manière itérative et non paramétrique. Les applications de wav-GP sur deux cas d'étude mécaniques fournissent des résultats prometteurs pour la prédiction de fonctions ayant un comportement hétérogène. D'autres part, nous formulons et calculons de nouveaux critères de variance qui reposent sur le champs de la norme du gradient du PG, et cela quelques soient les propriétés de (non) stationnarité du modèle. Les critères et les modèles sont comparés avec des méthodes de références sur des cas d'étude en ingénierie. Il en résulte que certains des critères par gradient proposés sont plus efficaces que les critères de variance plus conventionnels, mais qu'il est encore mieux de combiner le modèle WaMI-GP avec ces critères de variance. Ce modèle est souvent le plus compétitif dans des situations où les évaluations sont séquentielles et à nombre réduit. D'autres contributions s'inscrivant dans le thème de l'optimisation globale concernent en particulier le critère d'échantillonnage d'amélioration espérée (connu en anglais comme le critère d'expected improvement) et sa version multipoint pour l'évaluation en parallèle par paquet. Des formules analytiques et des approximations rapides sont établies pour une version généralisée du critère et pour son gradient.
Fichier principal
Vignette du fichier
these_marmin.pdf (6.27 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-01743815 , version 1 (26-03-2018)

Identifiers

  • HAL Id : tel-01743815 , version 1

Cite

Sebastien Marmin. Warping and sampling approaches to non-stationary gaussian process modelling.. General Mathematics [math.GM]. Ecole Centrale Marseille; Université de Berne. Collegium generale, 2017. English. ⟨NNT : 2017ECDM0007⟩. ⟨tel-01743815⟩
254 View
466 Download

Share

Gmail Facebook Twitter LinkedIn More