Disseny i implementació d'un sistema de tractament d'arxius binaris WDF usant MapReduce en clústers Hadoop

Abstract

The design and the implementation of non-conventional Big Data system are the main aids of this project. This system is able to extract information such as temporal and power values from binary files. Initially, the instrumentation equipment produces binary files which are distributed between all the clustered nodes. The MapReduce model allows this system to execute works distributed into Hadoop environment. Furthermore, Hadoop saves information between nodes into HDFS file system. On the other hand, the web interface allows to generate graphic outputs ranked between initial and final timestamps. Systems using binary files in Hadoop environment are possible. In future, it would be interesting to work in control errors in order to improve this base system. To conclude, all the computer work is distributed correctly between nodes and the lecture of these binary files demonstrates the possibilities of Hadoop with non-text inputs.

L'objectiu del projecte es centra en el disseny i la implementació d'un sistema Big Data poc convencional capaç d'extreure informació de temps i potència d'arxius binaris. Inicialment, aquests són generats mitjançant un equip d'instrumentació i es tracten repartits entre els diferents nodes. Per a la distribució del treball s'utilitza l'entorn Hadoop i la programació en Java de les funcions MapReduce que permeten guardar de manera distribuïda la informació en el sistema de fitxers HDFS. Per acabar, la interfície web permet l'accés a aquesta informació a partir d'una estampa temporal inicial i una de final que s'utilitzen per generar el gràfic lineal d'aquest rang. El sistema resultant és viable i executa el procés en condicions en les que cal afegir control d'errors. La feina es distribueix entre els nodes correctament i evidencia la possibilitat d'ús de Hadoop amb fitxers diferents als textuals.

El objetivo del proyecto se centra en el diseño y la implementación de un sistema Big Data poco convencional capaz de extraer información de tiempo y potencia de archivos binarios. Inicialmente, estos son generados mediante un equipo de instrumentación y se tratan repartidos entre los diferentes nodos. Para la distribución del trabajo se utiliza el entorno Hadoop y la programación en Java de las funciones MapReduce que permiten guardar de forma distribuida la información en el sistema de archivos HDFS. Por último, la interfaz web permite el acceso a esta información a partir de una estampa temporal inicial y una final que se utilizan para generar el gráfico lineal de este rango. El sistema resultante es viable y ejecuta el proceso en condiciones en las que hay que añadir control de errores. El trabajo se distribuye entre los nodos correctamente y evidencia la posibilidad de uso de Hadoop con archivos diferentes a los textuales.