Mapa interactivo automático de conceptos: Combinación de Big Data y FCA distribuido

Abstract

En l'àmbit d'aquest projecte, utilitzarem Formal Concept Analysis (FCA) com a tècnica per a poder generar coneixement i establir relacions sobre les dades del nostre domini; K-Means com a algoritme de discretització sobre les dades d'entrada (que ens ajudaran a generar un model vàlid susceptible per al processament requerit per la tècnica del FCA) i, finalment, farem servir un framework sobre computació distribuïda basat en l'algoritme map-reduce (Hadoop) com a estratègia de processament potencial de grans quantitats de dades. La sortida d'aquest procés serà un graf anomenat concept lattice, que pot ser usat per extreure relacions existents entre les dades.

En el ámbito de este proyecto, utilizaremos Formal Concept Analysis (FCA) como técnica para poder generar conocimiento y establecer relaciones sobre los datos de nuestro dominio; K-Means como algoritmo de discretización sobre los datos de entrada (que nos ayudarán a generar un modelo válido susceptible para el procesamiento requerido por la técnica del FCA) y, finalmente, utilizaremos un framework sobre computación distribuida basado en el algoritmo map-reduce (Hadoop) como estrategia de procesamiento potencial de grandes cantidades de datos. La salida de este proceso será un grafo llamado concept lattice, que puede ser usado para extraer relaciones existentes entre los datos.

In the scope of this project, we will use the Formal Concept Analysis (FCA) technique to generate knowledge and establish relations on the data of our domain; K-Means as the discretization algorithm on the input data (that will help us to generate a valid model to be processed by means of FCA) and finally, we will use a framework for distributed computing based on map-reduce algorithm (Hadoop) as a potential strategy for processing large amounts of data. The output of this process will be a graph called concept lattice, which can be used to extract existing data relationships.