Arquitectura Bigdata en el ámbito de la seguridad para el notariado Español

Abstract

El objetivo del presente proyecto, consiste en proponer una alternativa de arquitectura Big Data para el análisis y monitoreo de grandes cantidades de registros en tiempo real generados por los servidores del notariado español cuya finalidad es generar un sistema de monitoreo en tiempo real que permita la detección de eventos de seguridad en sus servidores, tales como explotación de vulnerabilidades, accesos no autorizados, trafico anómalo y comportamientos inusuales. El proyecto inicia presentando la tecnología Hadoop, su funcionamiento y finalidad, para continuar explicando un portafolio de herramientas que comprende su ecosistema, luego se analiza una tecnología que en la actualidad es de bastante uso como es Spark. El proyecto se desarrolla clasificando cada tecnología en todo el ciclo de implementación de una arquitectura Big data, en la cual, tiene como procesos relevantes los siguientes: Ingesta de datos, procesamiento, almacenamiento en clúster y visualización de resultados. Por último, finaliza con la selección y escogencia de una posible arquitectura, la propuesta contempla la especificación de cada tecnología para los procesos relevantes de una arquitectura Big Data, esta elección de tecnologías tuvo como principal factor cumplir la finalidad planteada y las características del caso de uso (generación de datos en cantidades masivas, tratamiento y análisis en tiempo real- Stream). Como conclusión, se puede indicar que existe una gran cantidad de herramientas que se pueden utilizar para la aplicación de la solución de caso planteado y en general para Big Data, de igual forma, su uso en el aspecto de la seguridad juega un papel importante para poder analizar en tiempo real posibles eventos de seguridad.

The objective of this project is to propose a Big Data architecture alternative for the analysis and monitoring of great volume numbers of real-time records generated by Spanish notary servers whose purpose is to generate a real-time monitoring system that allows detection of security events on their servers, such as exploitation of vulnerabilities, unauthorized access, anomalous traffic and unusual behavior. The project begins by presenting the Hadoop technology, his operation and purpose, to continue explaining a portfolio of tools that comprise its ecosystem, then analyzing a technology that is currently widely used as Spark. The project is developed by classifying each technology throughout the implementation cycle of a Big Data architecture, in which the following processes are relevant: Data intake, processing, storage in clusters and visualization of results. Finally, it ends with the selection and choice of a possible architecture, the proposal includes the specification of each technology for the relevant processes of a Big Data architecture, this choice of technologies had as main factor to fulfill the purpose and characteristics of the case of use (generation of data in massive quantities, treatment and analysis in real time Stream. In conclusion, it can be indicated that there is a large number of tools that can be used for the application of the proposed case solution and in general for Big Data, likewise, its use in the security aspect plays an important role for to be able to analyze in real time possible security events.

L'objectiu del present projecte, consisteix a proposar una alternativa d'arquitectura Big Data per a l'anàlisi i monitoratge de grans quantitats de registres en temps real generats pels servidors del notariat espanyol té com a finalitat generar un sistema de monitorització en temps real que permeti la detecció d'esdeveniments de seguretat en els seus servidors, com ara explotació de vulnerabilitats, accessos no autoritzats, tràfic anòmal i comportaments inusuals. El projecte s'inicia presentant la tecnologia Hadoop, el seu funcionament i finalitat, per continuar explicant un portafoli d'eines que comprèn el seu ecosistema, després s'analitza una tecnologia que en l'actualitat és de bastant ús com és Spark. El projecte es desenvolupa classificant cada tecnologia en tot el cicle d'implementació d'una arquitectura Big data, en la qual, té com a processos rellevants els següents: Ingesta de dades, processament, emmagatzematge en clúster i visualització de resultats. Finalment, finalitza amb la selecció i escogencia d'una possible arquitectura, la proposta contempla l'especificació de cada tecnologia per als processos rellevants d'una arquitectura Big Data, aquesta elecció de tecnologies va tenir com a principal factor complir la finalitat plantejada i les característiques del cas de ús (generació de dades en quantitats massives, tractament i anàlisi en temps real- Stream). Com a conclusió, es pot indicar que hi ha una gran quantitat d'eines que es poden utilitzar per a l'aplicació de la solució de cas plantejat i en general per a Big Data, de la mateixa manera, el seu ús en l'aspecte de la seguretat juga un paper important per poder analitzar en temps real possibles esdeveniments de seguretat.