Packing detection and classification relying on machine learning to stop malware propagation - Archive ouverte HAL Access content directly
Theses Year : 2021

Packing detection and classification relying on machine learning to stop malware propagation

Détection et classification d'empaquetage s'appuyant sur l'apprentissage automatique pour contrer la propagation des logiciels malveillants

(1, 2)
1
2

Abstract

In this thesis, we propose solutions for effective, efficient, and robust packing detection and classification to be practical parts of the malware analysis chain of an antivirus. Our solutions bring two contributions to the literature. In the first one, we introduce a study which aims at better understanding the impact of ground truth generation, machine learning algorithm selection, and feature selection on the effectiveness, efficiency, and robustness of supervised machine-learning-based packing detection and classification systems. In the second one, we propose, design, and implement SE-PAC, a new Self-Evolving PAcker Classifier framework that relies on incremental clustering in a semi-supervised fashion, in order to cope with the fast-paced evolution of packers over time. For both contributions, we conduct realistic experiments showing promising results in terms of effectiveness, efficiency, and robustness for packing detection and classification.
Dans cette thèse, nous proposons des solutions de détection et de classification d'empaqueteurs effectives, efficaces et robustes pouvant faire partie de la chaîne pratique d'analyse de logiciels malveillants d'un antivirus. Nos solutions apportent à la littérature deux contributions. Dans la première, nous introduisons une étude visant à mieux comprendre l'impact de la labellisation, la sélection d’algorithme d'apprentissage automatique et la sélection de caractéristique sur l'effectivité, l’efficacité et la robustesse des systèmes de détection et de classification d'empaqueteurs basés sur l'apprentissage automatique supervisé. Dans la seconde, nous proposons, concevons et implémentons SE-PAC (Self-Evolving PAcker Classifier), un nouveau framework auto-évolutif de classification d'empaqueteurs qui repose sur le regroupement incrémental de façon semi-supervisée, pour faire face à l'évolution rapide des empaqueteurs au fil du temps. Pour ces deux contributions, nous menons des expériences réalistes montrant des résultats prometteurs en termes d'effectivité, d'efficacité et de robustesse pour la détection et la classification des empaqueteurs.
Fichier principal
Vignette du fichier
NOUREDDINE_Lamine.pdf (1.82 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03781104 , version 1 (12-01-2022)
tel-03781104 , version 2 (18-03-2022)
tel-03781104 , version 4 (20-09-2022)

Identifiers

  • HAL Id : tel-03781104 , version 4

Cite

Lamine Noureddine. Packing detection and classification relying on machine learning to stop malware propagation. Cryptography and Security [cs.CR]. Université Rennes 1, 2021. English. ⟨NNT : 2021REN1S091⟩. ⟨tel-03781104v4⟩
719 View
346 Download

Share

Gmail Facebook Twitter LinkedIn More