Robust and privacy preserving distributed machine learning
Apprentissage automatique distribué robuste et respectueux de la vie privée
Résumé
With the pervasiveness of digital services, huge amounts of data are nowadays continuously generated and collected. Machine Learning (ML) algorithms allow the extraction of hidden yet valuable knowledge from these data and have been applied in numerous domains, such as health care assistance, transportation, user behavior prediction, and many others. In many of these applications, data is collected from different sources and distributed training is required to learn global models over them. However, in the case of sensitive data, running traditional ML algorithms over them can lead to serious privacy breaches by leaking sensitive information about data owners and data users. In this thesis, we propose mechanisms allowing to enhance privacy preservation and robustness in the domain of distributed machine learning. The first contribution of this thesis falls in the category of cryptography-based privacy preserving machine learning. Many state-of-the-art works propose cryptography-based solutions to ensure privacy preservation in distributed machine learning. Nonetheless, these works are known to induce huge overheads time and space-wise. In this line of works, we propose PrivML an outsourced Homomorphic Encryption-based Privacy Preserving Collaborative Machine Learning framework, that allows optimizing runtime and bandwidth consumption for widely used ML algorithms, using many techniques such as ciphertext packing, approximate computations, and parallel computing. The other contributions of this thesis address the robustness issues in the domain of Federated Learning. Indeed federated learning is the first framework to ensure privacy by design for distributed machine learning. Nonetheless, it has been shown that this framework is still vulnerable to many attacks, among them we find poisoning attacks, where participants deliberately use faulty training data to provoke misclassification at inference time. We demonstrate that state-of-the-art poisoning mitigation mechanisms fail to detect some poisoning attacks and propose ARMOR, a poisoning mitigation mechanism for Federated Learning that successfully detects these attacks, without hurting models’ utility.
Avec l’omniprésence des services numériques, d’´énormes quantités de données sont continuellement générées et collectées. Les algorithmes d’apprentissage automatique (ML) permettant d’extraire des connaissances précieuses à partir de ces données et ont été appliqués dans de nombreux domaines, tels que l’assistance médicale, le transport, la prédiction du comportement des utilisateurs, et bien d’autres. Dans beaucoup de ces applications, les données sont collectées à partir de différentes sources et un entraînement distribué est nécessaire pour apprendre des modèles globaux sur ces données. Néanmoins, dans le cas de données sensibles, l'exécution d'algorithmes ML traditionnels sur ces données peut conduire à de graves violations de la vie privée en divulguant des informations sensibles sur les propriétaires et les utilisateurs des données. Dans cette thèse, nous proposons des mécanismes permettant d'améliorer la préservation de la vie privée et la robustesse dans le domaine de l'apprentissage automatique distribué. La première contribution de cette thèse s'inscrit dans la catégorie d'apprentissage automatique respectueux de la vie privée basé sur la cryptographie. De nombreux travaux de l'état de l'art proposent des solutions basées sur la cryptographie pour assurer la préservation de la vie privée dans l'apprentissage automatique distribué. Néanmoins, ces travaux sont connus pour induire d'énormes coûts en termes de temps d'exécution et d'espace. Dans cette lignée de travaux, nous proposons PrivML, un framework externalisé d'apprentissage collaboratif basé sur le chiffrement homomorphe, qui permet d'optimiser le temps d'exécution et la consommation de bande passante pour les algorithmes ML les plus utilisés, moyennant de nombreuses techniques telles que le packing, les calculs approximatifs et le calcul parallèle. Les autres contributions de cette thèse abordent les questions de robustesse dans le domaine de l'apprentissage fédéré. En effet, l'apprentissage fédéré est le premier framework à garantir la préservation de la vie privée par conception dans le cadre de l'apprentissage automatique distribué. Néanmoins, il a été démontré que ce framework est toujours vulnérable à de nombreuses attaques, parmi lesquelles nous trouvons les attaques par empoisonnement, où les participants utilisent délibérément des données d'entraînement erronées pour provoquer une mauvaise classification au moment de l'inférence. Nous démontrons que les mécanismes de mitigation de l'empoisonnement de l'état de l'art ne parviennent pas à détecter certaines attaques par empoisonnement et nous proposons ARMOR, un mécanisme de mitigation de l'empoisonnement pour l'apprentissage fédéré qui parvient à détecter ces attaques sans nuire à l'utilité des modèles.
| Origine | Version validée par le jury (STAR) |
|---|