Interpretable Machine Learning Models via Maximum Boolean Satisfiability

Hao Hu

Résumé

Interpretable Machine Learning models receive growing interest due to the increasing concerns in understanding the reasoning behind some crucial decisions made by modern Artificial Intelligent systems. Due to their structure, especially with small sizes, these interpretable models are inherently understandable for humans. Compared to classical heuristic methods to learn these models, recent exact methods offer more compact models or better prediction quality. In this thesis, we propose two novel exact methods via Maximum Boolean Satisfiability (MaxSAT) to learn optimal interpretable machine learning models.Our contribution starts with an original MaxSAT-based exact method to learnoptimal decision trees. This method optimizes the empirical accuracy to avoidoverfitting and also enriches the constraints to restrict the tree depth. Additionally,we integrate this MaxSAT-based method in AdaBoost, which is a classical Boostingmethod to improve the generalization performance. The experimental results showthe competitive prediction quality of this MaxSAT-based method compared to state-of-the-art heuristics and other exact methods. Additionally, clear improvements inprediction performance are observed after the integration in AdaBoost.Our second contribution is an original MaxSAT-based exact method to optimize binary decision diagrams. We introduce an initial Boolean Satisfiability (SAT) encoding to model binary decision diagrams in limited depth with perfect empirical accuracy. Next, we present how to adapt the SAT-based model into MaxSAT approach. Finally, we present a pre-processing for selecting some important features to increase the scalability of our MaxSAT-based method to optimize binary decision diagrams. The experimental results show clear advances of our MaxSAT-based method in prediction quality, compared to state-of-the-art heuristic methods. We also observe a huge shrink in encoding size and model size in comparison between our approach and state-of-the-art exact method without losing the prediction performance. In addition, great reductions in encoding size are displayed after the application of pre-processing, which boosts the scalability.

Les modèles d’apprentissage interprétables reçoivent un intérêt croissant en raisonde l’augmentation des préoccupations pour comprendre le raisonnement menantaux décisions cruciales prises par les systèmes modernes d’intelligence artificielle.En raison de leur structure, en particulier pour des petites tailles, ces modèlesinterprétables sont intrinsèquement compréhensibles pour les humains. Par rapportaux méthodes heuristiques classiques pour apprendre ces modèles, les méthodesexactes récentes offrent des modèles plus compacts ou atteingnent une meilleurequalité de prédiction. Dans cette thèse, nous proposons deux nouvelles méthodesexactes basées sur la Satisfiabilité Booléenne Maximale (MaxSAT) pour apprendredes modèles d’apprentissage interprétables optimaux.Notre contribution commence par une méthode exacte originale basée sur MaxSATpour apprendre des arbres de décision optimaux. Cette méthode optimise la précision empirique pour éviter le surapprentissage et prend également en compte des contraintes pour restreindre la profondeur de l’arbre. De plus, nous intégrons cette méthode basée sur MaxSAT à la méthode AdaBoost, qui est une méthode standard de Boosting pour améliorer les performances de généralisation. Les résultats expérimentaux montrent une qualité de prédiction compétitive de cette méthode basée sur MaxSAT par rapport à des méthodes heuristiques et exactes de l’état de l’art. En plus, des améliorations des performances de prédiction sont observées après intégration dans AdaBoost.Notre deuxième contribution est une méthode exacte originalebasée sur MaxSAT pour optimiser les diagrammes de décision binaire. Nous introduisons tout d’abord un encodage de Satisfiabilité Booléenne (SAT) pour modéliser des diagrammes de décision binaire de profondeur limitée avec une parfaite précision. Puis, nous présentons comment adapter le modèle en Satisfiabilité Booléenne Maximale. Finalement, nous présentons un pré-traitement pour la sélection de certaines caractéristiques importantes afin d’augmenter le passage à l’échelle de notre méthode MaxSAT pour optimiser les diagrammes de décision binaire. Les résultats expérimentaux montrent des avancées de notre méthode MaxSAT sur la qualité de prédiction, par rapport aux méthodes heuristiques. Nous observons également une réduction importante sur la taille d’encodage et la taille du modèle dans les comparaisons entre notre approche et une méthode exacte de l’état de l’art, sans perdre en performance de prédiction. De plus, une grande réduction sur la taille d’encodage est mise en évidence après application du pré-traitement, ce qui renforce le passage à l’échelle.