Towards Efficient and Explainable Automated Machine Learning Pipelines Design : Application to Industry 4.0 Data
Vers une automatisation efficace et explicable des processus d’apprentissage automatique : Application à l’Industrie 4.0
Résumé
Machine learning (ML) has penetrated all aspects of the modern life, and brought more convenience and satisfaction for variables of interest. However, building such solutions is a time consuming and challenging process that requires highly technical expertise. This certainly engages many more people, not necessarily experts, to perform analytics tasks. While the selection and the parametrization of ML models require tedious episodes of trial and error. Additionally, domain experts often lack the expertise to apply advanced analytics. Consequently, they intend frequent consultations with data scientists. However, these collaborations often result in increased costs in terms of undesired delays. It thus can lead risks such as human-resource bottlenecks. Subsequently, as the tasks become more complex, similarly the more support solutions are needed for theincreased ML usability for the non-ML masters. To that end, Automated ML(AutoML) is a data-mining formalism with the aim of redureducing human effort and readily improving the development cycle through automation. The field of AutoML aims to make these decisions in a data-driven, objective, and automated way. Thereby, AutoML makes ML techniques accessible to domain scientists who are interested in applying advanced analytics but lack the required expertise. This can be seen as a democratization of ML. AutoML is usually treated as an algorithms selection and parametrization problem. In this regard, existing approaches include Bayesian optimization, evolutionary algorithms as well as reinforcement learning. Theseapproaches have focused on providing user assistance by automating parts or the entire data analysis process, but without being concerned on its impact on the analysis. The goal has generally been focused on the performance factors, thus leaving aside other important and even crucial aspects such as computational complexity, confidence and transparency. In contrast, this thesis aims at developing alternative methods that provide assistance in building appropriate modeling techniques while providing the rationale for the selected models. In particular, we consider this important demand in intelligent assistance as a meta-analysis process, and we make progress towards addressing two challenges in AutoML research. First, to overcome the computational complexity problem, we studied a formulation of AutoML as a recommendation problem, and proposed a new conceptualization of a Meta-Learning (MtL)-based expert system capable of recommending optimal ML pipelines for a given task; Second, we investigated the automatic explainability aspect of the AutoML process to address the problem of the acceptance of, and the trust in such black-boxes support systems. To this end, we have designed and implemented a framework architecture that leverages ideas from MtL to learn the relationship between a new set of datasets meta-data and mining algorithms. This eventually enables recommending ML pipelines according to their potential impact on the analysis. To guide the development of our work, we chose to focus on the Industry 4.0 as a main field of application for all the constraints it offers.Finally, in this doctoral thesis, we focus on the user assistance in the algorithms selection and tuning step. We devise an architecture and build a tool, AMLBID, that provides users support with the aim of improving the analysis and decreasing the amount of time spent in algorithms selection and parametrization. It is a tool that for the first time does not aim at providing data analysis support only, but instead, it is oriented towards positively contributing to the trust-in such powerful support systems by automatically providing a set of explanation levels to inspect the provided results.
L’industrie du futur introduit de nouveaux concepts, processus et pratiques conduisant à des mutations profondes dans le pilotage des systèmes d’information associés. Une des problématiques cruciales est l’utilisation de la quantité importante de données, notamment celles produites par les différents dispositifs d’acquisition de données (Cyber Physical Systems, etc.), pour en extraire de la connaissance destinée à la maîtrise des processus de l’entreprise à travers un système d’information évolutif, réactif et adapté aux spécificités de l’industrie 4.0. L’intelligence artificielle et plus particulièrement l’apprentissage automatique fournit les algorithmes, méthodes et outils permettant l’extraction de connaissances et de modèles à partir des données représentant l’activité d’une entreprise et son environnement, et l’apport de plus d’automatisation des processus sous-jacents. Cependant, de nombreuses entreprises ne disposent pas de moyens humains leur permettant de déployer efficacement des solutions d’apprentissage automatique. Cela s’explique notamment par le fait que la construction de telles solutions est un processus long et difficile qui nécessite une expertise hautement technique et intersectorielle et qui est une ressource limitée. Nous nous intéressons donc à ce besoin d’assistance à l’analyse de données, qui commence à recevoir une certaine attention des communautés scientifiques, donnant naissance au domaine dit d’apprentissage automatique automatisé. L’apprentissage automatique automatisé est devenu un domaine en plein essor qui vise à rendre l’application des méthodes d’apprentissage automatique aussi dépourvue d’intervention humaine que possible. A cet égard, les approches existantes se révèlent souvent similaires et peu abouties. Ces approches sont concentrées sur l’assistance de l’utilisateur en automatisant une partie ou l’ensemble du processus d’analyse de données, mais sans se soucier de son impact sur l’analyse. L’objectif a généralement été axé sur les facteurs de performance, laissant ainsi de côté d’autres aspects importants, voire cruciaux, tels que la complexité du calcul, la confiance et la transparence. Cette observation nous a amenés à orienter nos recherches vers le domaine du Meta-Apprentissage (MtL) et à développer des méthodes alternatives qui apportent une aide à la construction des techniques de modélisation appropriées tout en fournissant le rationnel des modèles ML sélectionnés. En particulier, nous considérons cette demande importante d’assistance intelligente comme un processus de méta-analyse, et nous progressons vers la résolution de deux défis de la recherche en AutoML. Dans un premier temps, pour palier au problème de la complexité du calcul, nous avons étudié une formulation de l’AutoML en tant que problème de recommandation, puis proposé une nouvelle conceptualisation d’un système expert basé sur le MtL capable de recommander des pipelines ML optimaux pour une tâche donnée. Dans un second temps, nous avons traité l’explicabilité du processus d’aide à la décision de l’AutoML pour prendre en compte la problématique de l’acceptation et la confiance en ces systèmes généralement vus comme des boîtes noires.
| Origine | Version validée par le jury (STAR) |
|---|