Statistical Learning Methodology to Leverage the Diversity of Environmental Scenarios in Crop Data : Application to the prediction of crop production at large-scale - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Statistical Learning Methodology to Leverage the Diversity of Environmental Scenarios in Crop Data : Application to the prediction of crop production at large-scale

Méthodologie d'apprentissage statistique exploitant la diversité des scénarios environnementaux dans les données de cultures : Application à la prévision de récoltes à grande échelles

Résumé

Crop yield prediction is a paramount issue in agriculture. Considerable research has been performed with this objective relying on various methodologies. Generally, they can be classified into model-driven approaches and data-driven approaches.The model-driven approaches are based on crop mechanistic modelling. They describe crop growth in interaction with their environment as dynamical systems. Since these models are based on the mechanical description of biophysical processes, they potentially imply a large number of state variables and parameters, whose estimation is not straightforward. In particular, the resulting parameter estimation problems are typically non-linear, leading to non-convex optimisation problems in multi-dimensional space. Moreover, data acquisition is very challenging and necessitates heavy specific experimental work in order to obtain the appropriate data for model identification.On the other hand, the data-driven approaches for yield prediction necessitate data from a large number of environmental scenarios, but with data quite easy to obtain: climatic data and final yield. However, the perspectives of this type of models are mostly limited to prediction purposes.An original contribution of this thesis consists in proposing a statistical methodology for the parameterisation of potentially complex mechanistic models, when datasets with different environmental scenarios and large-scale production records are available, named Multi-scenario Parameter Estimation Methodology (MuScPE). The main steps are the following:First, we take advantage of prior knowledge on the parameters to assign them relevant prior distributions and perform a global sensitivity analysis of the model parameters to screen the most important ones that will be estimated in priority;Then, we implement an efficient non-convex optimisation method, the parallel particle swarm optimisation, to search for the MAP (maximum a posterior) estimator of the parameters;Finally, we choose the best configuration regarding the number of estimated parameters by model selection criteria. Because when more parameters are estimated, theoretically, the calibrated model could explain better the variance of the output. Meanwhile, it increases also difficulty for optimization, which leads to uncertainty in calibration.This methodology is first tested with the CORNFLO model, a functional crop model for the corn.A second contribution of the thesis is the comparison of this model-driven method with classical data-driven methods. For this purpose, according to their different methodology in fitting the model complexity, we consider two classes of regression methods: first, Statistical methods derived from generalized linear regression that are good at simplifying the model by dimensional reduction, such as Ridge and Lasso Regression, Principal Components Regression or Partial Least Squares Regression; second, Machine Learning Regression based on re-sampling techniques like Random Forest, k-Nearest Neighbour, Artificial Neural Network and Support Vector Machine (SVM) regression.At last, a weighted regression is applied to large-scale yield prediction. Soft wheat production in France is taken as an example. Model-driven and data-driven approaches have also been compared for their performances in achieving this goal, which could be recognised as the third contribution of this thesis.
La prévision du rendement des cultures est toujours une question primordiale. De nombreuses recherches ont été menées avec cet objectif en utilisant diverses méthodologies. Généralement, les méthodes peuvent être classées en approches basées sur les modèles et en approches basées sur les données.Les approches basées sur les modèles reposent sur la modélisation mécaniste des cultures. Ils décrivent la croissance des cultures en interaction avec leur environnement comme systèmes dynamiques. Comme ces modèles sont basés sur la description mécanique des processus biophysiques, ils impliquent potentiellement un grand nombre de variables d'état et de paramètres, dont l'estimation n'est pas simple. En particulier, les problèmes d'estimation des paramètres résultant sont généralement non linéaires et conduisent à des problèmes d'optimisation non-convexes dans un espace multidimensionnel. De plus, l’acquisition de données est très difficile et nécessite un travail expérimental lourd afin d’obtenir les données appropriées pour l’identification du modèle.D'un autre côté, les approches basées sur les données pour la prévision du rendement nécessitent des données provenant d'un grand nombre de scénarios environnementaux, mais les données sont plus simples à obtenir: (données climatiques et rendement final). Cependant, les perspectives de ce type de modèles se limitent principalement à la prévision de rendement.La première contribution originale de cette thèse consiste à proposer une méthodologie statistique pour calibrer les modèles mécanistes potentiellement complexes, lorsque des ensembles de données avec différents scénarios environnementaux et rendements sont disponibles à grande échelle. Nous l'appellerons Méthodologie d'estimation de paramètres multi-scénarios (MuScPE). Les principales étapes sont les suivantes:Premièrement, nous tirons parti des connaissances préalables sur les paramètres pour leur attribuer des distributions a priori pertinentes et effectuons une analyse de sensibilité globale sur les paramètres du modèle afin de sélectionner les paramètres les plus importants à estimer en priorité.Ensuite, nous mettons en œuvre une méthode d’optimisation efficace non convexe, l’optimisation parallèle des essaims de particules, pour rechercher l’estimateur MAP (maximum a posteriori) des paramètres;Enfin, nous choisissons la meilleure configuration en ce qui concerne le nombre de paramètres estimés par les critères de sélection de modèles. Il y a en effet un compromis à trouver entre d’un côté l'ajustement aux données, et d'un autre côté la variance du modèle et la complexité du problème d'optimisation à résoudre.Cette méthodologie est d'abord testée avec le modèle CORNFLO, un modèle de culture fonctionnel pour le maïs.La seconde contribution de la thèse est la comparaison de cette méthode basée sur un modèle mécaniste avec des méthodes classiques d'apprentissage statistique basées sur les données. Nous considérons deux classes de méthodes de régression: d'une part, les méthodes statistiques dérivées de la régression linéaire généralisée qui permettent de simplifier le modèle par réduction dimensionnelle (régressions Ridge et Lasso, Régression par composantes principales ou régression partielle des moindres carrés) et d'autre part les méthode de régression de machine learning basée sur des modèles non-linéaires ou des techniques de ré-échantillonnage comme la forêt aléatoire, le réseau de neurones et la régression SVM.Enfin, une régression pondérée est appliquée pour prédire la production à grande échelle. La production de blé tendre, une culture de grande importance économique en France, est prise en exemple. Les approches basées sur les modèles et sur les données ont également été comparées pour déterminer leur performance dans la réalisation de cet objectif, ce qui est finalement la troisième contribution de cette thèse.
Fichier principal
Vignette du fichier
77060_CHEN_2019_archivage.pdf (2.75 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03164008 , version 1 (09-03-2021)

Identifiants

  • HAL Id : tel-03164008 , version 1

Citer

Xiangtuo Chen. Statistical Learning Methodology to Leverage the Diversity of Environmental Scenarios in Crop Data : Application to the prediction of crop production at large-scale. Statistics [math.ST]. Université Paris Saclay (COmUE), 2019. English. ⟨NNT : 2019SACLC055⟩. ⟨tel-03164008⟩
98 Consultations
187 Téléchargements

Partager

Gmail Facebook X LinkedIn More