Optimal decision trees using optimization techniques

Abstract

The rising need of having a way to understand and explain the decisions produced by the artificial intelligence algorithms, used in a broad set of fields, led to the apparition of the concept of explainable artificial intelligence. One of the most simple, although powerful, algorithms are the decision trees. This project focuses on studying the algorithms that allow the creation of such trees, while ensuring that the tree is optimal, as smaller trees are usually easier to explain. The project presents a Python package whose purpose is to act as a barrier remover for the users that don't have the means to implement those algorithms, allowing them to use the implementations proposed by different authors while leveraging the implementation of both the algorithms and the interaction with the solving ls to the package. In this report, the design of such tool is presented, as well as the technical considerations on which solving tools are used. Also, benchmarking on different datasets used in the bibliography is done to assess that the package accomplishes its main task, and to compare the different approaches implemented.

La creciente necesidad de tener una forma de entender y explicar las decisiones producidas por los algoritmos de inteligencia artificial, utilizados en un amplio conjunto de campos, llevó a la aparición del concepto de inteligencia artificial explicable. Uno de los algoritmos más simples, aunque poderoso, son los árboles de decisión. Este proyecto se centra en el estudio de los algoritmos que permiten la creación de esos árboles, asegurando al mismo tiempo que el árbol sea óptimo, ya que los árboles más pequeños suelen ser más fáciles de explicar. El proyecto presenta un paquete Python cuyo propósito es actuar como un eliminador de barreras para los usuarios que no tienen los medios para implementar esos algoritmos, permitiéndoles utilizar las implementaciones propuestas por diferentes autores, aprovechando tanto la implementación de los algoritmos como la interacción con los ls resolutores del paquete. En este informe se presenta el diseño de esa herramienta, así como las consideraciones técnicas sobre las que se utilizan las herramientas de resolución. Además, se hace un análisis comparativo de los diferentes conjuntos de datos utilizados en la bibliografía para evaluar que el paquete cumpla su tarea principal y para comparar los diferentes enfoques aplicados.

La creixent necessitat de tenir una manera d'entendre i explicar les decisions produïdes pels algorismes d'intel·ligència artificial, utilitzats en un ampli conjunt de camps, va portar a l'aparició del concepte d'intel·ligència artificial explicable. Un dels algorismes més simples, encara que poderós, són els arbres de decisió. Aquest projecte se centra en l'estudi dels algorismes que permeten la creació d'aquests arbres, assegurant al mateix temps que l'arbre sigui òptim, ja que els arbres més petits solen ser més fàcils d'explicar. El projecte presenta un paquet Python el propòsit del qual és actuar com un eliminador de barreres per als usuaris que no tenen els mitjans per a implementar aquests algorismes, permetent-los utilitzar les implementacions proposades per diferents autors, aprofitant tant la implementació dels algorismes com la interacció amb els ls resolutores del paquet. En aquest informe es presenta el disseny d'aquesta eina, així com les consideracions tècniques sobre les quals s'utilitzen les eines de resolució. A més, es fa una anàlisi comparativa dels diferents conjunts de dades utilitzades en la bibliografia per a avaluar que el paquet compleixi la seva tasca principal i per a comparar els diferents enfocaments aplicats.