Expressive classification rule learning with an emphasis on learning from sequential data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Expressive classification rule learning with an emphasis on learning from sequential data

Apprentissage de règles de classification expressives notamment à partir de données séquentielles

Marine Collery
  • Fonction : Auteur
  • PersonId : 1341258
  • IdRef : 275139530

Résumé

During the last decades, machine learning and in particular neural networkshave made tremendous progress on classification tasks for a variety of fieldssuch as healthcare, fraud detection or image recognition. They are able tolearn from various data types ranging from images to time series and achieveimpressive classification accuracy. However, their decisions are difficult orimpossible to understand by a human. Rule-based methods on the otherend, are interpretable, human-readable and have been widely adopted in differentindustrial fields with Business Rule Management Systems (BRMS). Inpractice however, those rules are manually written by experts. One of thereasons manually-written rule models cannot easily be replaced with learnedrule models is that rule-based learning models are not able to learn as expressiverules with higher-level concepts and complex grammar. Moreover, due tothe lack of latent representations, rule-based learning methods underperformw.r.t. state-of-the-art neural networks.In this thesis, we propose an end-to-end neural-based approach to learnexpressive rules for classification problems. Different levels of expressivenessin rules are presented, implemented and evaluated on some existing datasetsand new synthetic ones proposed as new benchmarks for binary classificationrule learning. First, the learning of basic disjunctive normal form witha neural network (base model) is studied. Second, extensions to support sequentialdata are introduced with a recursive and a convolutional approaches.Finally, the model is extended to learn more expressive rules with predefinedaggregation functions and overall complex grammar rules.
Au cours des dernières décennies, l’apprentissage automatique, et en particulieravec les réseaux de neurones, a fait d’énormes progrès pour résoudredes problèmes de classification dans différents domaines tels que la santé,la détection des fraudes ou la reconnaissance d’images. Ces modèles sontcapables d’apprendre à partir de différents types de données, allant des imagesaux séries temporelles, et d’atteindre une précision de classification impressionnante.Cependant, leurs décisions sont difficiles, voire impossibles àcomprendre par un être humain. Les méthodes basées sur des règles, quant àelles, sont interprétables, lisibles par l’homme et ont été largement adoptéesdans différents domaines industriels avec les Business Rule Management Systems(BRMS) ou systèmes de gestion des règles métier. En pratique, cependant,ces règles sont écrites manuellement par des experts. L’une des raisonspour laquelle les règles écrites manuellement ne peuvent pas être facilementremplacées par des modèles de règles apprises à partir de données, est queles modèles d’apprentissage de règles ne sont pas capables d’apprendre desrègles aussi expressives, avec des concepts de haut niveau et une grammairecomplexe. De plus, en raison d’un manque de représentations latentes, lesméthodes d’apprentissage basées sur des règles sont moins performantes queles réseaux neuronaux de l’état de l’art.Dans cette thèse, nous proposons une approche de bout en bout baséesur un réseau de neurones permettant d’apprendre des règles expressives pourdes problèmes de classification. Différents niveaux d’expressivité des règlessont présentés et évalués sur de nouvelles données synthétiques et sur certainsensembles de données existants. Tout d’abord, l’apprentissage d’expressionssous la forme normale disjonctive avec un réseau neuronal (modèle de base)est étudié. Ensuite, des extensions pour prendre en charge les donnéesséquentielles sont introduites avec une approche récursive et une approcheconvolutive. Enfin, le modèle est étendu pour apprendre des règles plusexpressives avec des fonctions d’agrégation prédéfinies et des règles de grammairecomplexes.
Fichier principal
Vignette du fichier
128274_COLLERY_2023_archivage.pdf (1.92 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04415715 , version 1 (24-01-2024)

Identifiants

  • HAL Id : tel-04415715 , version 1

Citer

Marine Collery. Expressive classification rule learning with an emphasis on learning from sequential data. Artificial Intelligence [cs.AI]. Institut Polytechnique de Paris, 2023. English. ⟨NNT : 2023IPPAX091⟩. ⟨tel-04415715⟩
117 Consultations
27 Téléchargements

Partager

Gmail Facebook X LinkedIn More