Predicción de errores en entornos de computación distribuida

Abstract

Se han utlizado técnicas actuales derivadas de la estadística (inteligencia artificial, minería de datos y aprendizaje computacional) para construir un software que clasifique los trabajos de un CPD según como se espera que sea su terminación (estado final de la ejecución). Dicho software toma información a través de SLURM (software para la gestión de trabajos utilizado en el CPD) y la transforma a un formato adecuado (CSV) para la aplicación del algoritmo C5.0, de manera que se extraigan reglas de clasificación a partir del conjunto de datos. Dichas reglas de clasificación son utilizadas por el software para realizar las predicciones/clasificaciones de los trabajos, que además también soporta una serie de consultas sobre los datos (para poder filtrarlos según el interés concreto) y tiene un pequeño sistema de notificaciones configurable donde se pueden consultar las predicciones de interés.

Applied modern techniques (related to Artificial Intelligence, Machine Learning and Data Mining) based in statistics to build a software capable of classifying jobs running in a Data Center attending to its termination/exit status. The software takes data from a SLURM (Simple Linux Utility for Resource Management) environment and then transforms it into an adequate format (CSV) to use in combination with C5.0 algorithm, in order to extract classification rules from the data set. Obtained classification rules are used by the software to classify/predict jobs. Also, it is capable of performing certain queries that work as filters that can be applied over data. Furthermore, it has a notification system which can be configured using the aforementioned queries to consider predictions of interest.

S'han utilitzat tècniques actuals derivades de l'estadística (intel·ligència artificial, mineria de dades i aprenentatge computacional) per construir un programari que classifiqui els treballs d'un CPD segons com s'espera que sigui la seva terminació (estat final de l'execució). Aquest programari pren informació a través de SLURM (programari per a la gestió de treballs utilitzat en el CPD) i la transforma a un format adequat (CSV) per a l'aplicació de l'algorisme C5.0, de manera que s'extreguin regles de classificació a partir del conjunt de dades. Aquestes regles de classificació són utilitzades pel programari per realitzar les prediccions/classificacions dels treballs, que a més també suporta una sèrie de consultes sobre les dades (per poder filtrar-los segons l'interès concret) i té un petit sistema de notificacions configurable on es poden consultar les prediccions d'interès.