Arquitectura Big Data de ingesta en Real Time

Abstract

El objetivo de este proyecto, es desarrollar y desplegar un sistema de arquitectura Big Data de ingesta en real time. Tomaremos como referencia las tecnologías usadas por las empresas más punteras en la actualidad en el uso de los datos: Netflix, Facebook, Amazon,¿ Por ejemplo Netflix hace uso de Kafka para su sistema de recomendación de series y películas en real time. Para ello, haremos uso de las últimas tecnologías Big Data y nos plantearemos un problema cotidiano a resolver, que podrá ser extrapolable a muchos otros ámbitos de ingesta de datos.

The aim of this project, is to develop and deploy a new Big Data architecture system to ingest data in real time. We will take as a reference the most common technologies spread across the main technological companies nowadays such as: Netflix, Facebook, Amazon,¿ As an example, Netflix uses Kafka as a main technology for TV shows and movies recommendations. In order to develop our target, we will use the most trendy technologies that are commonly used on Big Data. We will use it to solve an easy problem that could be extrapolated to many other use cases in data ingestion environment.

L'objectiu d'aquest projecte, és desenvolupar i desplegar un sistema d'arquitectura Big Data d'ingesta en real estafi. Prendrem com a referència les tecnologies usades per les empreses més capdavanteres en l'actualitat en l'ús de les dades: Netflix, Facebook, Amazon, Per exemple Netflix fa ús de Kafka per al seu sistema de recomanació de sèries i pel·lícules en real estafi. Per a això, farem ús de les últimes tecnologies Big Data i ens plantejarem un problema quotidià a resoldre, que podrà ser extrapolable a molts altres àmbits d'ingesta de dades.