Contributions to explainable deep learning models

Abstract

En este trabajo, proponemos técnicas para mejorar el rendimiento y la transparencia de las redes neuronales convolucionales (CNN). Introducimos métodos novedosos para la selección de muestras informativas (ISS), la cuantificación de la incertidumbre y la explicación visual. Los dos métodos de ISS implican el uso del aprendizaje por refuerzo para filtrar muestras que podrían provocar un sobreajuste y un sesgo, y el empleo de una simulación de Monte Carlo para estimar la incertidumbre del modelo durante el entrenamiento y la inferencia. Además, presentamos dos técnicas de explicabilidad visual: ADVISE, que genera explicaciones visuales detalladas y cuantifica la relevancia de las unidades del mapa de características, y UniCAM, que explica la naturaleza opaca de la destilación del conocimiento. Estos métodos tienen como objetivo mejorar la precisión, solidez, equidad y explicabilidad del modelo, contribuyendo tanto a la investigación académica como a la transparencia de las CNN en aplicaciones de visión por computadora.

In this work, we propose techniques to enhance the performance and transparency of convolutional neural networks (CNNs). We introduce novel methods for informative sample selection (ISS), uncertainty quantification, and visual explanation. The two ISS methods involve using reinforcement learning to filter out samples that could lead to overfitting and bias, and employing Monte Carlo dropout to estimate model uncertainty during training and inference. In addition, we present two visual explainability techniques: ADVISE, which generates detailed visual explanations and quantifies the relevance of feature map units, and UniCAM, which explains the opaque nature of knowledge distillation. These methods aim to improve model accuracy, robustness, fairness, and explainability, contributing to both academic research and the transparency of CNNs in computer vision applications.

En aquest treball, proposem tècniques per millorar el rendiment i la transparència de les xarxes neuronals convolucionals (CNN). Introduïm mètodes nous per a la selecció de mostres informatives (ISS), la quantificació de la incertesa i l'explicació visual. Els dos mètodes de l'ISS impliquen l'ús de l'aprenentatge de reforç per filtrar mostres que podrien provocar un sobreajust i un biaix, i emprar una simiulació de Monte Carlo per estimar la incertesa del model durant l'entrenament i la inferència. A més, presentem dues tècniques d'explicabilitat visual: ADVISE, que genera explicacions visuals detallades i quantifica la rellevància de les unitats als mapes de característiques, i UniCAM, que explica la naturalesa opaca dels models basats en la destil·lació del coneixement. Aquests mètodes tenen com a objectiu millorar la precisió, la robustesa, l'equitat i l'explicabilitat del model, contribuint tant a la investigació acadèmica com a la transparència de les CNN en aplicacions de visió per computador.