Analysis of reinforcement learning techniques applied to honeypot systems

Abstract

The study of cybersecurity threats is an increasingly relevant element for public and private organizations, due to the increasing number of cyber attacks and their impact on the organizations assets and their reputation. Collecting detailed information that allows to determine how future attacks will be is key to anticipate the organizations' defenses. Tactics, techniques and procedures used by threat actors can be collected using several approaches, one being honeypot systems. The effectiveness of these attack information collection targets depend significantly on their ability to present a realistic environment that can lure attackers to reveal their techniques. This project presents a study of designs and implementations of adaptive honeypots, focused on the use of reinforcement learning, to reach more realistic interactions between honeypots and attackers, and an analysis of the existing techniques and performance metrics.

L'estudi de les amenaces de ciberseguretat és un element cada vegada més rellevant per a les organitzacions públiques i privades, a causa del nombre creixent d'atacs cibernètics i del seu impacte sobre els actius de les organitzacions i la seva reputació. La recopilació d'informació detallada que permeti determinar com seran els atacs futurs és clau per anticipar-se a les defenses de les organitzacions. Les tàctiques, tècniques i procediments utilitzats pels actors de les amenaces es poden recopilar mitjançant diversos enfocaments, un dels quals és el de sistemes de test. L'eficàcia d'aquests objectius de recollida d'informació sobre atacs depèn significativament de la seva capacitat per presentar un entorn realista que pugui atreure els atacants a revelar les seves tècniques. Aquest projecte presenta un estudi de dissenys i implementacions de pots de mel adaptatius, centrat en l'ús de l'aprenentatge de reforç, per assolir interaccions més realistes entre taques de mel i atacants, i una anàlisi de les tècniques i mètriques de rendiment existents.

El estudio de las amenazas a la ciberseguridad es un elemento cada vez más relevante para las organizaciones públicas y privadas, debido al creciente número de ciberataques y su impacto en los activos de las organizaciones y su reputación. Recopilar información detallada que permita determinar cómo serán los ataques futuros es clave para anticipar las defensas de las organizaciones. Las tácticas, técnicas y procedimientos utilizados por los actores de amenazas se pueden recopilar utilizando varios enfoques, uno de los cuales son los sistemas honeypot. La efectividad de estos objetivos de recopilación de información de ataques depende significativamente de su capacidad para presentar un entorno realista que pueda atraer a los atacantes a revelar sus técnicas. Este proyecto presenta un estudio de diseños e implementaciones de honeypots adaptativos, enfocado en el uso del aprendizaje reforzado, para alcanzar interacciones más realistas entre honeypots y atacantes, y un análisis de las técnicas existentes y métricas de desempeño.