Developing new techniques for packing detection and unpacking to stop malware propagation.
(English version below)
Dans cette thèse, nous proposons des solutions de détection et de classification d’empaqueteurs effectives, efficaces et robustes pouvant faire partie de la chaîne pratique d’analyse de logiciels malveillants d’un antivirus.
Nos solutions apportent à la littérature deux contributions. Dans la première, nous introduisons une étude visant à mieux comprendre l’impact de la labellisation, la sélection des algorithmes d’apprentissage automatique, et la sélection de caractéristique sur l’effectivité, l’efficacité et la robustesse des systèmes de détection et de classification d’empaqueteurs basés sur l’apprentissage automatique supervisé. Dans la seconde, nous proposons, concevons et implémentons SE-PAC (Self-Evolving PAcker Classifier), un nouveau framework auto-évolutif de classification d’empaqueteurs qui repose sur le regroupement incrémental de façon semi-supervisée, pour faire face à l’évolution rapide des empaqueteurs au fil du temps.
Pour ces deux contributions, nous menons des expériences réalistes montrant des résultats prometteurs en termes d’effectivité, d’efficacité et de robustesse pour la détection et la classification des empaqueteurs.
Developing new techniques for packing detection and unpacking to stop malware propagation.
In this thesis, we propose effective, efficient, and robust packing detection and classification solutions to be practical parts of the malware analysis chain of an antivirus.
Our solutions bring two contributions to the literature. In the first one, we introduce a study which aims at better understanding the impact of ground truth generation, machine learning algorithm selection, and feature selection on the effectiveness, efficiency, and robustness of supervised machine-learning-based packing detection and classification systems. In the second one, we propose, design, and implement SE-PAC, a new Self-Evolving PAcker Classifier framework that relies on incremental clustering in a semi-supervised fashion, in order to cope with the fast-paced evolution of packers over time.
For both contributions, we conduct realistic experiments showing promising results in terms of effectiveness, efficiency, and robustness forpacking detection and classification.
- Mr ALEXANDRE Frédéric, Directeur de recherche (UMR IMN / INRIA) Bordeaux
- Mme CHRISMENT Isabelle, Professeure des Universités (LORIA) Nancy
- Mme HEUSER Annelie, Chercheur (IRISA) Rennes
- Mr LALANDE Jean-François, Professeur des Universités(Centrale Supelec) Cesson Sévigné
- Mme URTADO Christelle, Maitre de conférence (IMT) Alès
- Mr UBEDA Stéphane, Professeur des Universités (INRIA) Villeurbanne
- Mr ZENDRA Olivier, Chercheur (INRIA) Rennes