Packing detection and classification relying on machine learning to stop malware propagation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Packing detection and classification relying on machine learning to stop malware propagation

Détection et classification d'empaquetage s'appuyant sur l'apprentissage automatique pour contrer la propagation des logiciels malveillants

Résumé

In this thesis, we propose solutions for effective, efficient, and robust packing detection and classification to be practical parts of the malware analysis chain of an antivirus. Our solutions bring two contributions to the literature. In the first one, we introduce a study which aims at better understanding the impact of ground truth generation, machine learning algorithm selection, and feature selection on the effectiveness, efficiency, and robustness of supervised machine-learning-based packing detection and classification systems. In the second one, we propose, design, and implement SE-PAC, a new Self-Evolving PAcker Classifier framework that relies on incremental clustering in a semi-supervised fashion, in order to cope with the fast-paced evolution of packers over time. For both contributions, we conduct realistic experiments showing promising results in terms of effectiveness, efficiency, and robustness for packing detection and classification.
Dans cette thèse, nous proposons des solutions de détection et de classification d'empaqueteurs effectives, efficaces et robustes pouvant faire partie de la chaîne pratique d'analyse de logiciels malveillants d'un antivirus. Nos solutions apportent à la littérature deux contributions. Dans la première, nous introduisons une étude visant à mieux comprendre l'impact de la labellisation, la sélection d’algorithme d'apprentissage automatique et la sélection de caractéristique sur l'effectivité, l’efficacité et la robustesse des systèmes de détection et de classification d'empaqueteurs basés sur l'apprentissage automatique supervisé. Dans la seconde, nous proposons, concevons et implémentons SE-PAC (Self-Evolving PAcker Classifier), un nouveau framework auto-évolutif de classification d'empaqueteurs qui repose sur le regroupement incrémental de façon semi-supervisée, pour faire face à l'évolution rapide des empaqueteurs au fil du temps. Pour ces deux contributions, nous menons des expériences réalistes montrant des résultats prometteurs en termes d'effectivité, d'efficacité et de robustesse pour la détection et la classification des empaqueteurs.
Fichier principal
Vignette du fichier
NOUREDDINE_Lamine.pdf (1.82 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03781104 , version 1 (12-01-2022)
tel-03781104 , version 2 (18-03-2022)
tel-03781104 , version 4 (20-09-2022)

Identifiants

  • HAL Id : tel-03781104 , version 4

Citer

Lamine Noureddine. Packing detection and classification relying on machine learning to stop malware propagation. Cryptography and Security [cs.CR]. Université Rennes 1, 2021. English. ⟨NNT : 2021REN1S091⟩. ⟨tel-03781104v4⟩
889 Consultations
863 Téléchargements

Partager

Gmail Facebook X LinkedIn More