Creació d'un programari per la transformació de dades

Abstract

L'objectiu d'aquest TFC ha estat crear un programari que permeti transformacions ràpides de gran volums de dades. Cada procés de transformació hauria de dependre d'un conjunt de regles de transformació preestablertes per subconjunts de dades, de manera que el procés fos repetible i verificable per a poder garantir la qualitat dels processos de transformació; les regles de transformació s'haurien de poder especificar de manera fàcil i pràctica per a usuaris sense coneixements de programació; les transformacions possibles haurien de cobrir requeriments derivats de la neteja, la transformació i la formatació de dades en els nivells de taula, registre i camp, i per a cada subconjunt de dades i regles de transformació inicials, que constitueixen l'entrada, el programari hauria de retornar el corresponent subconjunt de dades transformades.

El objetivo de este TFC ha sido la creación de un software que permita transformaciones rápidas de grandes volúmenes de datos. Cada proceso de transformación tendría que depender de un conjunto de reglas de transformación preestablecidas por subconjuntos de datos, de forma que el proceso fuera repetible y verificable para poder garantizar la calidad de los procesos de transformación; las reglas de transformación deberían especificarse de un modo fácil y práctico para usuarios sin conocimientos de programación; las transformaciones posibles tendrían que cubrir requerimientos derivados de la limpieza, transformación y formatación de datos, a nivel de tabla, registro y campo y para cada subconjunto de datos y reglas de transformación iniciales, que conforman la entrada del software, éste tendría que devolver el correspondiente subconjunto de datos transformados.

The objective of this Final Degree Project is to create software that will enable rapid transformation of large volumes of data. Every transformation process should depend on a group of pre-established rules of transformation for subgroups of data, in such a way that the process would be repeatable and verifiable in order to guarantee the quality of the transformation processes; the rules of transformation should be able to be specified in a practical and easy manner for users without programming knowledge. The possible transformations should cover requirements deriving from the cleansing, transformation, and formatting of data at the levels of table, register, and field. For every subgroup of initial data and transformation rules, which constitute the entrance, the software should return the corresponding subgroup of transformed data.