Addressing Interpretability, Fairness and Privacy in Machine Learning Through Combinatorial Optimization Methods
Adresser l’interprétabilité, l’équité et la protection de la vie privée en apprentissage machine au travers des méthodes d’optimisation combinatoire
Résumé
Machine learning techniques are increasingly used for high-stakes decision making, such as college admissions, loan attribution or recidivism prediction. It is thus crucial to ensure that the trained models can be audited or understood by human users, do not create or reproduce discrimination or bias, and do not leak sensitive information regarding their training data. Indeed, interpretability, fairness and privacy are key requirements for trustworthy machine learning, and all three have been studied extensively during the last decade. However, they are often considered in isolation.
The objective of this manuscript is precisely to investigate the interactions between the three different fields, using tools from combinatorial optimization and operations research. For each pairwise intersection, we review the literature on the previously observed compatibilities, tensions or synergies, and draw new insights from our proposed contributions - either highlighting an identified tension or proposing a conciliation mechanism.
We first propose an Integer Linear Programming (ILP) based pruning technique for a learning algorithm producing fair and inherently interpretable models. By leveraging jointly accuracy, sparsity and fairness, it enhances the exploration of the algorithm's search space and helps conciliating fairness and interpretability. Motivated by the empirical observation that fairness often does not generalize well, we further introduce a novel framework to improve fairness robustness with respect to the training set sampling.
We then show how information regarding a model's fairness can be exploited to reconstruct its training set sensitive attributes. To this end, we propose efficient MILP and Constraint Programming (CP) models directly encoding the fairness information to improve the reconstruction performed by any baseline adversary. This highlights the intrinsic tension between enforcing fairness with respect to some sensitive attributes, and ensuring such attributes' privacy.
Finally, we demonstrate how the structure of a released interpretable model can be used to reconstruct a probabilistic version of its training set. By precisely quantifying the amount of information a model encodes regarding its training data, we illustrate an apparent conflict between interpretability and privacy considerations.
Les approches d'apprentissage automatique sont de plus en plus utilisées pour des problématiques de prise de décisions impactant nos vies, telles que l'admission à l'université, l'attribution de prêts ou la prédiction de récidive. Ainsi, il est crucial de s'assurer que les modèles entraînés peuvent être audités et compris par leurs utilisateurs, ne reproduisent pas ni ne créent de biais discriminatoires, et ne divulguent pas d'informations sensibles sur leurs ensembles d'entraînement. En effet, l'interprétabilité, l'équité et la protection de la vie privée sont des propriétés indispensables pour le développement de techniques d'apprentissage dignes de confiance. Toutes trois ont été largement étudiées durant la dernière décennie. Cependant, elles sont le plus souvent considérées séparément les unes des autres.
L'objectif de cette thèse est précisément de caractériser les interactions entre ces trois domaines, en utilisant des outils d'optimisation combinatoire et de recherche opérationnelle. Considérant ces trois domaines deux à deux, nous passons en revue la littérature sur leurs compatibilités, tensions et synergies. Nous nous concentrons sur certaines de ces tensions et proposons soit un mécanisme de conciliation, soit des techniques permettant de mettre en exergue ou de quantifier ce conflit.
Nous proposons d'abord une technique d'élagage basée sur la programmation linéaire en nombres entiers pour un algorithme d'apprentissage produisant des modèles équitables et intrinsèquement interprétables. En encodant conjointement précision, taille du modèle et équité, elle améliore l'exploration de l'espace de recherche de l'algorithme et aide à concilier équité et interprétabilité. Forts de la constatation expérimentale que l'équité généralise souvent mal une fois les modèles appliqués sur de nouvelles données, nous proposons une nouvelle approche visant à améliorer la robustesse de l'équité vis-à-vis de l'échantillonnage du jeu de données.
Nous montrons par la suite comment l'information relative à l'équité d'un modèle peut être utilisée pour reconstruire les attributs sensibles de son ensemble d'entraînement. A cet effet, nous proposons des modèles de programmation linéaire en nombres entiers et de programmation par contraintes encodant directement l'information de l'équité afin d'améliorer une reconstruction effectuée en amont par un attaquant quelconque de la littérature. Ce travail illustre une tension intrinsèque entre le fait d'assurer l'équité par rapport à certains attributs sensibles et la nécessité de protéger l'information relative à ces attributs.
Enfin, nous expliquons comment la structure d'un modèle interprétable peut être utilisée pour reconstruire une version probabiliste de son ensemble d'entraînement. En quantifiant précisément la quantité d'information qu'un modèle encode sur ses données d'entraînement, nous illustrons un conflit apparent entre l'interprétabilité et la protection de la vie privée.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|