Static PE antimalware evasion by using Reinforcement Learning

Abstract

Malware detection is a critical capability which is usually deployed in any production system as a first step to increase the infrastructure security. Due to this widespread security measure, and with the intention of carrying out the actions for which it has been designed, malwareis constantly evolving in order to evade common detection techniques, ranging from simple changes aimed to evade signature-based detection to complex variations involving malware virtualization which are able to evade behavioural-based detection. In this project, an experiment based on Reinforcement Learning is designed in order to improve the evasion capabilities of a given self-generated malware sample. Such design is carried out by defining the set of actions that can be taken in order to evade Static PE detection; an environment which evaluates the sample; a reward function that allows us to minimize thedetection rate, and an agent which coordinates the entire process. Tools used in the scope of this project are available for the general public, including those used for self-generating the samples as well as those used to emulate an environment with different antimalware solutions.

La detecció de programari maliciós és una capacitat crítica que normalment es desplega en qualsevol sistema de producció com a primer pas per augmentar la seguretat de la infraestructura. A causa d'aquesta mesura de seguretat generalitzada, i amb la intenció de dur a terme les accions per a les quals ha estat dissenyat, el malware evoluciona constantment per eludir tècniques de detecció comunes, que van des de canvis senzills destinats a eludir la detecció basada en signatures fins a variacions complexes que impliquen malware. virtualització que és capaç d'evadir la detecció basada en el comportament. En aquest projecte, es dissenya un experiment basat en l'aprenentatge de reforç per tal de millorar les capacitats d'evasió d'una mostra de malware donada autogenerada. Aquest disseny es realitza definint el conjunt d'accions que es poden dur a terme per evitar la detecció de PE estàtic; un entorn que avalua la mostra; una funció de recompensa que ens permet minimitzar la taxa de detecció i un agent que coordina tot el procés. Les eines que s'utilitzen en l'àmbit d'aquest projecte estan disponibles per al públic en general, incloses les que s'utilitzen per autogenerar les mostres, així com les que s'utilitzen per emular un entorn amb diferents solucions antimalware.

La detección de malware es una capacidad crítica que generalmente se implementa en cualquier sistema de producción como primer paso para aumentar la seguridad de la infraestructura. Debido a esta medida de seguridad generalizada, y con la intención de llevar a cabo las acciones para las que ha sido diseñado, el malware está en constante evolución para eludir las técnicas de detección habituales, que van desde simples cambios destinados a evadir la detección basada en firmas hasta complejas variaciones de malware virtualización que pueden evadir la detección basada en el comportamiento. En este proyecto, se diseña un experimento basado en el aprendizaje por refuerzo para mejorar las capacidades de evasión de una muestra de malware autogenerada determinada. Dicho diseño se lleva a cabo definiendo el conjunto de acciones que se pueden realizar para evadir la detección de PE estática; un entorno que evalúa la muestra; una función de recompensa que nos permite minimizar la tasa de detección, y un agente que coordina todo el proceso. Las herramientas utilizadas en el alcance de este proyecto están disponibles para el público en general, incluidas las utilizadas para autogenerar las muestras, así como las utilizadas para emular un entorno con diferentes soluciones antimalware.