Desarrollo de una solución business intelligence mediante un paradigma de data lake

Abstract

Este trabajo implementa una solución de Business Intelligence siguiendo un paradigma de Data Lake sobre la plataforma de Big Data Apache Hadoop con el objetivo de ilustrar sus capacidades tecnológicas para este fin. Los almacenes de datos tradicionales necesitan transformar los datos entrantes antes de ser guardados para que adopten un modelo preestablecido, en un proceso conocido como ETL (Extraer, Transformar, Cargar, por sus siglas en inglés). Sin embargo, el paradigma Data Lake propone el almacenamiento de los datos generados en la organización en su propio formato de origen, de manera que con posterioridad puedan ser transformados y consumidos mediante diferentes tecnologías ad hoc para las distintas necesidades de negocio. Como conclusión, se indican las ventajas e inconvenientes de desplegar una plataforma unificada tanto para análisis Big Data como para las tareas de Business Intelligence, así como la necesidad de emplear soluciones basadas en código y estándares abiertos.

This paper implements a Business Intelligence solution following the Data Lake paradigm on Hadoop's Big Data platform with the aim of showcasing the technology for this purpose. Traditional data warehouses require incoming data to be transformed before being stored by means of an ETL process (Extract-Transform-Load) to adopt a predefined data model. However, the Data Lake paradigm proposes storing first the organization's data in its original format in such a way that they can later be transformed and consumed by ad hoc processes based on the business needs. Finally, there is a review of the advantages and disadvantages of deploying a unified data platform for both Big Data and traditional Business Intelligence use cases as well as the importance of using solutions based on open source and open standards.

Aquest treball implementa una solució de Business Intelligence seguint un paradigma de Data Lake sobre la plataforma de Big Data Apache Hadoop amb l'objectiu d'il·lustrar les seves capacitats tecnològiques per a aquest fi. Els magatzems de dades tradicionals necessiten transformar les dades entrants abans de ser guardats perquè adoptin un model preestablert, en un procés conegut com ETL (Extreure, Transformar, Carregar, per les sigles en anglès). No obstant això, el paradigma Data Lake proposa l'emmagatzematge de les dades generades en l'organització en el seu propi format d'origen, de manera que amb posterioritat puguin ser transformats i consumits mitjançant diferents tecnologies ad hoc per a les diferents necessitats de negoci. Com a conclusió, s'indiquen els avantatges i inconvenients de desplegar una plataforma unificada tant per anàlisi Big Data com per a les tasques de Business Intelligence, així com la necessitat d'emprar solucions basades en codi i estàndards oberts.