Sistema de BI per l'anàlisi dels sentiments a Twitter

Abstract

L'objectiu final del projecte és crear un sistema d'escolta social capaç d'entendre què senten els usuaris de Twitter sobre un determinat tema. Això permetrà, per exemple, comparar diverses companyies entre elles, veure geogràficament quin sentiment transmet un grup de persones d'un tema en concret, d'un president, d'un concepte, etc. Els resultats es visualitzaran mitjançant una eina de visualització que ens permetrà entendre el pensament d'una població determinada respecte d'un tema en particular. Veurem entre altres mètriques, l'impacte social del tuit, el sentiment que transmet, la segmentació geogràfica, la influència que aplica a l'usuari final i l'evolució del sentiment al llarg del temps, entre d'altres. Per fer això, ens basarem en la informació generada de twitter. Cada dia es generen milions de tuits i l'objectiu és capturar aquests tuits del tòpic que ens interessi a mesura que van sent creats, i guardar-los en una base de dades. Posteriorment, tractarem aquestes dades i les convertirem en informació útil, on hi aplicarem un procés de comprensió i anàlisis mitjançant una xarxa neuronal que decidirà, en funció del text, el sentiment d'aquest. Tota la solució estarà continguda en un paquet de docker pel ràpid desplegament en possibles servidors cloud, de tal manera que serà una solució escalable. És comprendrà d'entre altres, d'una base de dades MySQL, Git per fer el control de versions, Python com a llenguatge de programació i PowerBI per la part de visualització.

The main objective of the project is to create a end to end system of Social Listening that is able to predict the sentiment of any given topic. This will enable us, for example, to analyze several companies between them, look at geographical data of a certain topic like a president, an idea or a concept... The results will be visualized by a specially designed Power BI dashboard which will enable us to drill down the information to get more insights. We will see the impact of a tweet and the sentiment that this one is giving to us, the influence that the user has and the evolution of this sentiment along the time. To do so, we will base our information on the data generated by twitter. Everyday millions of tweets are generated in twitter and we will capture those and use it for our analysis and save it into a MySql data base. Once we have the data, we will transform this data into information that is useful applying several procedures and analyzing the sentiments on the tweets. All the solution will be easily deployed with Docker so it can be deployed on cloud and gave us the ability to escalate the infrastructure when needed. The Python will be the main language of this project.

El objetivo final del proyecto es crear un sistema de escucha social capaz de entender qué sienten los usuarios de Twitter sobre un determinado tema. Esto permitirá, por ejemplo, comparar varias compañías entre ellas, ver geográficamente qué sentimiento transmite un grupo de personas de un tema en concreto, de un presidente, de un concepto, etc. Los resultados se visualizarán mediante una herramienta de visualización que nos permitirá entender el pensamiento de una población determinada respecto de un tema en particular. Veremos entre otros métricas, el impacto social del tuit, el sentimiento que transmite, la segmentación geográfica, la influencia que aplica al usuario final y la evolución del sentimiento a lo largo del tiempo, entre otros. Para hacer esto, nos basaremos en la información generada de twitter. Cada día se generan millones de tuits y el objetivo es capturar estos tuits del tópico que nos interese a medida que van siente creados, y guardarlos en una base de datos. Posteriormente, trataremos estos datos y las convertiremos en información útil, donde aplicaremos un proceso de comprensión y análisis mediante una red neuronal que decidirá, en función del texto, el sentimiento de este. Toda la solución estará contenida en un paquete de docker por el rápido despliegue en posibles servidores cloud, de tal manera que será una solución escalable. Es comprenderá de entre otros, de una base de datos MySQL, Git para hacer el control de versiones, Python como lenguaje de programación y PowerBI por la parte de visualización.