Real-Time behavioural stream analysis with Big Data stack technologies

Abstract

En aquesta memòria es descriu la creació d'un projecte Big Data utilitzant les tecnologies de AWS Kinesis i Spark Streaming i de visualització de Looker. L'objectiu és poder valorar l'activitat del usuaris a través de les accions dintre de l'aplicació de Wallapop. Per tal de poder valorar aquesta es construeix una matriu de transicions on a través del model Hidden Markov es puntua aquestes. Per últim, es pre-bloquejen el usuaris per tal de valorar la seva activitat i prendre una decisió.

In this report shows the creation of a Big Data solution using the technologies of AWS Kinesis and Spark Streaming and for the visualization part was used Looker. The objective is to be able validate the activity of the users through the action inside the application of Wallapop. To be able to validate the user activity I made a matrix of transitions using the Hidden Markov Model, this model calculate the probability between the actions of the user. Finally, it is to pre-block the user validating the activity and make a decision.

En esta memoria se describe la creación de un proyecto Big Data utilizando las tecnologías de AWS Kinesis y Spark Streaming y de visualización de Looker. El objetivo es poder valorar la actividad del usuarios a través de las acciones dentro de la aplicación de Wallapop. Para poder valorar esta se construye una matriz de transiciones donde a través del modelo Hidden Markov se puntúa estas. Por último, se pre-bloquean los usuarios para valorar su actividad y tomar una decisión.