Detector predictivo de conexiones fraudulentas

Abstract

La finalidad principal de este trabajo es el diseño e implementación de un detector predictivo de conexiones fraudulentas eficiente, que cumpla con las necesidades manifestadas por el cliente (Ancert). Para llevar a cabo el proyecto, primero se han estudiado a fondo las necesidades reales a cubrir. Después se han obtenido tramas de red suficientes y de calidad para cubrir con las fases de modelado del clasificador predictivo. Posteriormente, se han investigado sistemas para estructurar los ficheros, que faciliten su exploración y tratamiento masivo. Una vez que los datos han quedado estructurados en la BD NoSQL Cassandra, se ha hecho una investigación de los diferentes métodos de Machine Learning i sus ámbitos de aplicación, escogiendo el que se ha estimado más idóneo para el proyecto. Una vez decido que el diseño del detector se hará mediante redes neuronales profundas (Deep Learning) con Python y las librerías TensorFlow, se ha empezado con el modelado del algoritmo predictivo, que incluye las etapas de diseño, entrenamiento, validación, prueba y guardado del modelo para su reutilización posterior. La precisión obtenida con los datos de entrenamiento ha sido de ~99% y ~92% con los datos de test. Todo ello, con un porcentaje ínfimo (~0,05%) de falsos positivos, relevante para evitar la no disponibilidad del servicio a los usuarios lícitos del sistema. El detector predictivo se ha utilizado para clasificar un conjunto de tramas de red sin etiquetar y realizar su posterior inserción en la BD Cassandra. El tiempo total empleado para completar clasificación de ~300.000 tramas e insertarlas en la BD ha sido inferior a 3' en todas las pruebas realizadas.

The main purpose of this work is the design and implementation of an efficient fraudulent predictive detector that meets the needs expressed by the client (Ancert). To carry out the project, the real needs to be covered have been studied in depth. After that, sufficient and quality network frames have been obtained to cover the modeling phases of the predictive classifier. Subsequently, systems have been investigated to structure the files, which facilitate their exploration and massive treatment. Once the data has been structured in the Cassandra NoSQL DB, an investigation has been made of the different methods of Machine Learning and its application areas, choosing the one that has been considered most suitable for the project. Once I have decided that the design of the detector will be made through deep neural networks (Deep Learning) with Python and the TensorFlow libraries, we have started with the predictive algorithm modeling, which includes the stages of design, training, validation, testing and saving of the model for its subsequent reuse. The accuracy obtained with the training data was ~ 99% and ~ 92% with the test data. All this, with a negligible percentage (~ 0.05%) of false positives, relevant to avoid the non-availability of the service to the legal users of the system. The predictive detector has been used to classify a set of unlabeled network frames and perform their subsequent insertion into the Cassandra database. The total time spent to complete the classification of ~ 300,000 frames and insert them into the database has been less than 3 'in all tests performed.

L'objectiu principal d'aquest treball és dissenyar i implementar un detector predictiu de connexions fraudulentes eficient, que respongui a les necessitats expressades pel client (Ancert). Per dur a terme el projecte, s'han estudiat en profunditat les necessitats reals que s'han de cobrir. Després d'això, s'han obtingut bastidors de xarxa suficients i de qualitat per cobrir les fases de modelatge del classificador predictiu. Posteriorment, s'han investigat sistemes per estructurar els fitxers, que faciliten la seva exploració i tractament massiu. Una vegada que les dades s'han estructurat a la Cassandra NoSQL DB, s'ha realitzat una investigació dels diferents mètodes d'Aprenentatge automàtic i les seves àrees d'aplicació, escollint el que s'ha considerat més adequat pel projecte. Una vegada que decidit que el disseny del detector es realitzi a través de xarxes neuronals profundes (Deep Learning) amb Python i les biblioteques TensorFlow, s'ha començat amb el modelatge algorítmic predictiu, que inclou les etapes de disseny, formació, validació, prova i estalvi del model per a la seva posterior reutilització. La precisió obtinguda amb les dades de formació ha estat de ~ 99% i ~ 92% amb les dades de prova. Tot això, amb un percentatge insignificant (~ 0.05%) de falsos positius, rellevants per evitar la no disponibilitat del servei als usuaris lícits del sistema. El detector predictiu s'ha utilitzat per classificar un conjunt de trames de xarxa no etiquetades i realitzar la inserció posterior a la base de dades Cassandra. El temps total dedicat a completar la classificació de ~ 300.000 trames i inserir-les a la base de dades ha estat inferior a 3' en totes les proves realitzades.