Big Data y seguridad

Abstract

El objetivo de esta memoria es analizar cual es la mejor arquitectura de Big Data que se adapte de manera sustancial al realizar una gran cantidad de ingestas de datos procesados en tiempo real suministrados por las Notarías Españolas. Tomando como punto de partida el ecosistema de Hadoop, en donde se encuentra un stack completo de tecnologías Big Data, planteándonos resolver un problema cotidiano y que podrá ser extrapolable a muchos ámbitos de ingesta de datos que requieran de un procesamiento en tiempo real con su debido almacenamiento en un clúster. Los resultados que se obtiene en este proyecto, por una parte es la creación de grandes cantidades de datos sintéticos con características similares a los datos de los servidores de las Notarías, con el fin de probar la arquitectura elegida, y por otra parte, la creación de una arquitectura virtualizada a pequeña escala totalmente funcional dentro de un clúster virtual, para la captura de datos en tiempo real, con su respectivo procesamiento y almacenamiento en el clúster virtual.

The goal of this paper is to know which is the best Big Data architecture that is substantially adapted to make a large amount of data processed in real-time provided by the Spanish Notaries. Taking as a starting point the Hadoop ecosystem, where there is a stack of Big Data technologies, which they can solve a daily problem. Those technologies can be extrapolated in many data areas that require real-time processing with proper storage in a cluster. The results obtained in this project are, on the one hand, the creation of large amounts of synthetic data with characteristics similar to the data of the servers of the Notary, in order to test the chosen architecture, and on the other hand, the creation of a fully functional, small-scale virtualized architecture within a virtual cluster, for real-time data capture, with their respective processing and storage in the virtual cluster.

L'objectiu d'aquesta memòria és analitzar com és la millor arquitectura de Big Data que s'adapti de manera substancial en realitzar una gran quantitat d'ingestes de dades processades en temps real subministrats per les Notaries Espanyoles. Prenent com a punt de partida l'ecosistema de Hadoop, on es troba un stack complet de tecnologies Big Data, plantejant-nos resoldre un problema quotidià i que podrà ser extrapolable a molts àmbits d'ingesta de dades que requereixin d'un processament en temps real amb el seu degut emmagatzematge en un clúster. Els resultats que s'obté en aquest projecte, d'una banda és la creació de grans quantitats de dades sintètiques amb característiques similars a les dades dels servidors de les Notaries, amb la finalitat de provar l'arquitectura triada, i d'altra banda, la creació d'una arquitectura virtualitzada a petita escala totalment funcional dins d'un clúster virtual, per a la captura de dades en temps real, amb el seu respectiu processament i emmagatzematge en el clúster virtual.