Contribution of machine learning in modeling rare values and imbalanced data : applications in insurance
Contribution de l'apprentissage automatique à la modélisation des valeurs rares et des données déséquilibrées : applications en assurance
Résumé
CONTEXT: Data plays a crucial role in machine learning, statistical modeling, and artificial intelligence in general. These disciplines rely on the ability to extract meaningful information from raw data to explain and/or predict phenomena, solve complex problems, or make autonomous decisions. Data provides the raw material necessary for building models, whether they are deep neural networks, supervised or unsupervised learning methods, or more traditional statistical techniques. The richer, more varied, and representative the data, the more accurate, generalizable, and useful the models can be in various contexts. Consequently, the quality of the results obtained often depends on the quality of the data used. Learning from rare, extreme, or imbalanced data, however, remains a major challenge. Standard approaches tend to overlook these values, which can lead to poor modeling quality for this type of data. Moreover, rare values often represent an important event that practitioners seek to understand or predict. PROBLEMATIC: Approaches to address learning on imbalanced data mainly focus on supervised learning. Most solutions concern imbalance in the context of classification, especially binary - a context for which an abundance of methods exists. In contrast, the regression framework has been relatively unexplored. The fact that the variable is quantitative indeed poses several difficulties further complicating the problem. Finally, imbalance can also concern one or more explanatory variables, for example, due to selection bias. It can also be encountered in the multi-supervised framework where the influence of variables in learning can be unbalanced and, consequently, lead to the neglect of rare values. PROPOSED SOLUTIONS: The work is structured around two main axes: Imbalanced Features and Imbalanced Regression. The first axis addresses the issue of feature imbalance, i.e., when it concerns the attributes of observations rather than the variable to be explained. The first solution involves correcting the distribution of a covariate relative to a given target distribution. It proposes combining weighted resampling and synthetic data generators. This strategy notably helps address selection bias. A second solution is proposed in the context of multi-supervised learning, particularly with autoencoders. It relies on a new metric aiming to balance the influence of variables during learning and is applicable not only in supervised and unsupervised contexts but also in generative models such as Variational Autoencoders (VAE). The second part addresses the issue of regression from imbalanced data. Various preprocessing solutions, including synthetic data generation, are proposed. Initially, we propose exploring the initial data space by introducing new generators and a new methodology to address the specific case of regression. We then propose embedding the data into a latent space to provide a more conducive framework for generating synthetic data, notably proposing the Deep Smoothed Bootstrap by adapting the natural generator of VAEs. Finally, to construct an independent latent space, a new metric identifying and measuring nonlinear correlations is proposed.
CONTEXTE : Les données jouent un rôle essentiel dans l'apprentissage automatique, la modélisation statistique et, plus généralement, l'intelligence artificielle. En effet, ces disciplines reposent sur la capacité à extraire des informations significatives à partir de données brutes dans le but de pouvoir expliquer et/ou prédire un phénomène, résoudre des problèmes complexes ou encore pour prendre des décisions de manière autonome. Les données fournissent la matière première nécessaire à la construction des modèles, qu'il s'agisse de réseaux neuronaux profonds, de méthodes d'apprentissage supervisé ou non supervisé, ou de techniques statistiques plus traditionnelles. Plus les données sont riches, variées et représentatives de la réalité, plus les modèles peuvent être précis, généralisables et utiles dans divers contextes. Par conséquent, la qualité des résultats obtenus dépend souvent de la qualité des données utilisées. L'apprentissage à partir de valeurs rares, extrêmes ou non, et plus généralement des données déséquilibrées reste cependant un défi majeur. Les approches standards ont tendance à négliger ces valeurs, ce qui peut entraîner une qualité de modélisation médiocre pour ce type de données. De plus, les valeurs rares représentent souvent un événement important que les praticiens cherchent à comprendre ou prédire. PROBLEMATIQUE : Les approches pour aborder le phénomène d'apprentissage sur données déséquilibrées se focalisent principalement sur l'apprentissage supervisé. La majorité des solutions concernent le déséquilibre dans le contexte de la classification, en particulier binaire - contexte pour lequel une abondance de méthodes existe. En revanche, le cadre de la régression a été relativement peu exploré. Le fait que la variable soit quantitative engendre en effet plusieurs difficultés complexifiant davantage le problème. Enfin, le déséquilibre peut également concerner une ou plusieurs variables explicatives, par exemple en raison d'un biais de sélection. Il peut aussi être rencontré dans le cadre multi-supervisé où l'influence des variables dans l'apprentissage peut être déséquilibrée et, par conséquent, conduire à négliger les valeurs rares. SOLUTIONS PROPOSEES : Les travaux sont articulés autour de deux grands axes : l'Imbalanced Features et l'Imbalanced Regression. Le premier axe aborde la problématique du déséquilibre de caractéristiques c'est-à-dire lorsqu'il concerne les attributs des observations et non la variable à expliquer. La première solution consiste à redresser la distribution d'une covariable par rapport à une distribution cible donnée. Elle propose de combiner un rééchantillonnage pondéré et des générateurs de données synthétiques. Cette stratégie permet notamment de faire face au biais de sélection. Une seconde solution est proposée dans le cadre de l'apprentissage multi-supervisé, en particulier avec les autoencodeurs. Elle s'appuie sur une nouvelle métrique visant à équilibrer l'influence des variables lors de l'apprentissage et est applicable non seulement dans des contextes supervisés et non supervisés, mais également dans des modèles génératifs tels que les Variational Autoencoder (VAE). La seconde partie traite la question de la régression à partir de données déséquilibrées. Différentes solutions de prétraitement, notamment de génération de données synthétiques sont proposées. Dans un premier temps, nous proposons d'explorer l'espace initial des données en introduisant de nouveaux générateurs et une nouvelle méthodologie pour aborder le cas spécifique de la régression. Nous proposons ensuite de plonger les données dans un espace latent dans le but d'offrir un cadre plus propice à la génération de données synthétiques. Nous proposant notamment le Deep Smoothed Bootstrap en adaptant le générateur naturel des VAE. Enfin, dans le but de construire un espace latent indépendant, une nouvelle métrique identifiant et mesurant les corrélations non linéaires est proposée.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
