Metodología de benchmark de herramientas SAST

Abstract

La evaluación de herramientas para pruebas de seguridad en aplicaciones es esencial cuando las empresas consideran invertir tiempo y esfuerzo en establecer procesos de seguridad en el SDLC. Por ello, es crucial determinar las mejores formas de llevar a cabo un estudio riguroso y una comparación, buscando medir y cotejar de la manera más objetiva posible. Para las organizaciones, es primordial que estas herramientas sean efectivas en la detección de vulnerabilidades, que generen pocos falsos positivos, que ofrezcan interoperabilidad con sistemas de gestión de vulnerabilidades y que proporcionen informes de alta calidad en términos de detección y recomendaciones de mitigación. El objetivo de este TFM es establecer una metodología de pruebas basándose en otras ya existentes, extendiéndola si es necesario con parámetros de comparación pertinentes para las organizaciones. Adicionalmente, como objetivo secundario, se llevará a cabo una prueba de concepto para obtener métricas sobre aciertos, falsos positivos y falsos negativos, desarrollando un sistema que compare el resultado de una herramienta con lo esperado, alineando ambas en un formato estandarizado como el SARIF.

Evaluating tools for security testing in applications is essential when companies consider investing time and effort in establishing security processes within the SDLC. For this reason, it's crucial to determine the best ways to conduct a thorough study and comparison, aiming to measure and contrast as objectively as possible. For organizations, it is paramount that these tools are effective in detecting vulnerabilities, produce few false positives, offer interoperability with vulnerability management systems, and provide high-quality reports in terms of detection and mitigation recommendations. The aim of this Master's thesis is to establish a testing methodology based on existing ones, expanding it when necessary with relevant comparison parameters for organizations. Additionally, as a secondary objective, a proof of concept will be carried out to obtain metrics on accuracy, false positives, and false negatives, developing a system that contrasts the tool's outcome with the expected results, aligning both in a standardized format such as SARIF.