Identificación de las crisis en el sistema Zújar de la subdirección de análisis de información e investigación del fraude de la AEAT

Abstract

Proyecto de aprendizaje computacional (o machine learning) destinado a identificar las crisis en el sistema Zújar del departamento de TAIIF de la AEAT a partir de los registros de actividad generados por las aplicaciones que consumen su información. En el proyecto se valora el uso de los principales modelos de clasificación, con la intención de seleccionar aquel, o aquellos, modelos que obtengan las mejores métricas la clasificar registros como momentos de crisis o como momentos no de crisis. Durante el proyecto se valora principalmente la métrica F1, pues esta pondera a su vez las métricas precisión (precision) y exhaustividad (recall) que son las más interesantes para el problema de identificar la mayor cantidad de crisis. La precisión mide el porcentaje de positivos identificados y la exhaustividad el porcentaje de positivos reales entre los registros clasificados como tal. Asimismo, se hace uso de diversas técnicas con el objetivo de mejorar los pobres resultados obtenidos durante las primeras etapas de la fases modelado. Con estas técnicas se pretende paliar una serie de problemas identificados, principalmente la falta de balanceo entre los casos positivos y negativos. Como resultado del proyecto, además de esta memoria, se entrega una librería desarrollada en Python (debidamente documentada) preparada para poder evaluar los distintos modelos utilizados (utilidades desarrolladas), así como una guía de uso necesaria para poder utilizar adecuadamente dicha librería.

Machine learning project aimed at identifying crises in the Zújar system of the TAIIF department of the AEAT from the activity records generated by the applications that consume its information. The project evaluates the use of the main classification models, with the intention of selecting the model or models that obtain the best metrics when classifying records as crisis or non-crisis moments. During the project, the F1 metric is mainly evaluated, since it, in turn, weighs the precision and recall metrics, which are the most interesting for the problem of identifying the greatest number of crises. Precision measures the percentage of positives identified, and recall measures the percentage of real positives among the records classified as such. In addition, several techniques are used to improve the poor results obtained during the first stages of the modeling phase. These techniques are intended to alleviate several identified problems, mainly the lack of balance between positive and negative cases. As a result of the project, in addition to this report, a library developed in Python (duly documented) prepared to evaluate the different models used (developed utilities) is delivered, as well as a user's guide necessary for the proper use of this library.

Projecte d'aprenentatge computacional (o machine learning) destinat a identificar les crisis en el sistema Zújar del departament de TAIIF de la AEAT a partir dels registres d'activitat generats per les aplicacions que consumeixen la seva informació. En el projecte es valora l'ús dels principals models de classificació, amb la intenció de seleccionar aquell, o aquells, models que obtinguin les millors mètriques la classificar registres com a moments de crisis o com a moments no de crisis. Durant el projecte es valora principalment la mètrica F1, perquè aquesta pondera al seu torn les mètriques precisió (precision) i exhaustivitat (recall) que són les més interessants per al problema d'identificar la major quantitat de crisi. La precisió mesura el percentatge de positius identificats i l'exhaustivitat el percentatge de positius reals entre els registres classificats com a tal. Així mateix, es fa ús de diverses tècniques amb l'objectiu de millorar els pobres resultats obtinguts durant les primeres etapes de la fases modelat. Amb aquestes tècniques es pretén pal·liar una sèrie de problemes identificats, principalment la falta de balanceig entre els casos positius i negatius. Com a resultat del projecte, a més d'aquesta memòria, es lliura una llibreria desenvolupada en Python (degudament documentada) preparada per a poder avaluar els diferents models utilitzats (utilitats desenvolupades), així com una guia d'ús necessària per a poder utilitzar adequadament aquesta llibreria.