Seguridad y privacidad ¿cómo valorar la seguridad sobre un sistema basado en IA?

Abstract

Actualmente estamos viviendo un boom relacionado con la Inteligencia Artificial y su integración en sistemas y organizaciones de todos los tamaños y sectores. Acompañando a este crecimiento, se están desarrollando de manera continua, adaptándose a los cambios en la tecnología, guías, metodologías y protocolos para un desarrollo, mantenimiento e implementación seguros. Pero se ha observado una carencia en el análisis y el comunicación formal de vulnerabilidades. El propósito de este trabajo es intentar suplir este vacío. El autor del presente TFM tiene años de experiencia como pentester y analista de Threat Intelligence, y ha aplicado su enfoque y metodología para su desarrollo, intentando enfocar el ejercicio des del punto de vista de un profesional de la Seguridad Ofensiva. En el documento se proporciona una visión general de cuál es el estado de la seguridad en las aplicaciones que hacen uso Inteligencia Artificial. Esta contextualización es entonces aprovechada para asistir en la generación de una propuesta de que factores se deberían tener en cuenta a la hora de realizar un análisis de seguridad de este tipo de aplicaciones, además de proponer un modelo de informe de presentación de resultados. Finalmente, se realiza un análisis en profundidad de las vulnerabilidades conocidas como Prompt Injection, pues es muy útil para ilustrar cuáles son las características propias de las vulnerabilidades que afectan a la Inteligencia Artificial, en especial, las de tipo generativo.

Currently, we are experiencing a boom related to Artificial Intelligence and its integration into systems and organizations of all sizes and sectors. Accompanying this growth, guidelines, methodologies, and protocols for secure development, maintenance, and implementation are continuously being developed, adapting to the ongoing changes in the technology. However, a lack has been observed in the analysis and formal communication of vulnerabilities. The purpose of this essay is to try to fill this gap. The author of this Master's Thesis has years of experience as a pentester and Threat Intelligence analyst, applying his approach and methodology to its development, aiming to approach the exercise from the perspective of a professional in Offensive Security. The document provides an overview of the current state of security in applications that use Artificial Intelligence. This contextualization is then leveraged to assist in generating a proposal for factors to consider when conducting a security analysis of such applications, in addition to proposing a model for presenting results. Finally, an in-depth analysis is carried out on vulnerabilities known as Prompt Injection, as it is particularly useful to illustrate the characteristics of vulnerabilities that affect Artificial Intelligence, especially those of the generative kind.