Implementación de Security Data Lake con Splunk. Creación de reglas de correlación y modelos para la detección avanzada de amenazas

Abstract

La finalidad de este trabajo consiste en exponer las problemáticas y limitaciones actuales de los sistemas de recolección y análisis de eventos de seguridad (SIEM), y proponer una solución basada en el diseño de un sistema security data lake (SDL) como una forma de superar estas limitaciones. El contexto de aplicación de este trabajo es el de las organizaciones que necesitan una plataforma para detectar tempranamente amenazas y eventos maliciosos en sus sistemas y dispositivos de red. Esto es especialmente importante debido al aumento exponencial de la cantidad de sistemas y dispositivos de red, la digitalización de procesos y la necesidad de cumplir con ciertas normativas de cumplimiento. La metodología utilizada en este trabajo ha consistido en realizar una revisión bibliográfica sobre los principios de los sistemas de manejo de grandes cantidades de información, especialmente los SDL, y en la propuesta de un sistema SDL utilizando Splunk como tecnología base. Se han detallado los beneficios que ofrece Splunk para el desarrollo de un sistema SDL distribuido y capaz de gestionar grandes cantidades de datos, y se ha explicado cómo se pueden implementar tanto reglas de correlación como modelos de detección de anomalías utilizando técnicas de machine learning. En cuanto a los resultados, se ha llevado a cabo una comparativa entre las diferentes técnicas de detección de patrones maliciosos a través de los datos recogidos por el sistema, resaltando la flexibilidad de los modelos de detección de amenazas frente las reglas de correlación.

La finalitat d'aquest treball consisteix a exposar les problemàtiques i limitacions actuals dels sistemes de recol·lecció i anàlisi d'esdeveniments de seguretat (SIEM), i proposar una solució basada en el disseny d'un sistema security data lake (SDL) com una manera de superar aquestes limitacions. El context d'aplicació d'aquest treball és el de les organitzacions que necessiten una plataforma per a detectar primerencament amenaces i esdeveniments maliciosos en els seus sistemes i dispositius de xarxa. Això és especialment important a causa de l'augment exponencial de la quantitat de sistemes i dispositius de xarxa, la digitalització de processos i la necessitat de complir amb unes certes normatives de compliment. La metodologia utilitzada en aquest treball ha consistit a realitzar una revisió bibliogràfica sobre els principis dels sistemes de maneig de grans quantitats d'informació, especialment els SDL, i en la proposta d'un sistema SDL utilitzant Splunk com a tecnologia basi. S'han detallat els beneficis que ofereix Splunk per al desenvolupament d'un sistema SDL distribuït i capaç de gestionar grans quantitats de dades, i s'ha explicat com es poden implementar tant regles de correlació com models de detecció d'anomalies utilitzant tècniques de machine learning. Quant als resultats, s'ha dut a terme una comparativa entre les diferents tècniques de detecció de patrons maliciosos a través de les dades recollides pel sistema, ressaltant la flexibilitat dels models de detecció d'amenaces front les regles de correlació.

The purpose of this work is to expose the current problems and limitations of security event collection and analysis systems (SIEM), and to propose a solution based on the design of a security data lake (SDL) system as a way to overcome these limitations. The application context of this work is organizations that need a platform for early detection of threats and malicious events in their systems and network devices. This is especially important due to the exponential increase in the number of network systems and devices, the digitization of processes and the need to meet certain compliance regulations. The methodology used in this work has consisted of a literature review on the principles of large data management systems, especially SDLs, and the proposal of an SDL system using Splunk as the base technology. The benefits offered by Splunk for the development of a distributed SDL system capable of managing large amounts of data have been detailed, and it has been explained how both correlation rules and anomaly detection models can be implemented using machine learning techniques. As for the results, a comparison has been made between the different techniques for detecting malicious patterns through the data collected by the system, highlighting the flexibility of threat detection models versus correlation rules.