Automated similarity detection: identifying duplicated requirements

Abstract

Machine-Learning (ML) and Natural-Language-Processing (NLP) are two of the most known areas of Artificial Intelligence (AI). ML is a general-purpose technology which uses data to learn real-world knowledge and to improve the reliability of a specific action - typically to extract autonomous predictions about partial data observations. On the other hand, NLP applies to the task of developing representations of features of natural language based on its textual information. One area of application of NLP and ML is the Requirements Engineering (RE) field. RE is the set of processes of Software Engineering (SE) focused on the management of a set of requirements that describes a system. Between the challenges of RE, it is highlighted the detection of duplicated requirements. If ignored, these duplicities may lead to redundancy in the textual information of a project and therefore this may lead to the duplicity of tasks. Moreover, the automation of this process and the standardized usage of specific, accurate tools are still at a state-of-the-art stage. This master thesis is a state-of-the-art analysis to apply automated requirements similarity detection, using AI techniques, for the detection of duplicates between project requirements. Based on a literature review, this thesis must be a practical evaluation and a development proposal of duplicate detection in SE project requirements. This work is developed within the OpenReq project, an EU-Horizon-2020 project whose goal is "to build an intelligent decision system for community-driven RE". This collaboration allows the usage of real requirements data to evaluate the algorithms developed in this project.

Machine-Learning (ML) i Natural-Language-Processing (NLP) són dues de les principals àrees del camp de la Intel·ligència Artificial (IA). ML és una tecnologia de propòsit genèric que utilitza l'anàlisi de dades per extreure coneixement del món real i millorar la fiabilitat d'un procés, generalment aplicable a extreure prediccions autònomes basades en observacions parcials de dades. Per altra banda, NLP consisteix en el desenvolupament de representacions computacionals i el processament de característiques del llenguatge natural. Una de les seves principals àrees d'aplicació és l'Enginyeria de Requisits (RE), que consisteix en el conjunt de processos de l'Enginyeria Software (SE) relacionats amb la gestió del conjunt de requisits d'un sistema. Entre els reptes de la RE destaca la detecció de requisits duplicats. Aquestes duplicitats, si no es gestionen, poden comportar una redundància en la informació textual d'un projecte, i en conseqüència, la duplicitat de tasques. Tot i així, l'automatització d'aquest procés i l'ús d'eines estandaritzades es troba encara en fase de desenvolupament. L'objectiu d'aquesta tesi és analitzar l'estat de l'art de la detecció automàtica de similitud entre requisits d'un projecte utilitzant tècniques d'AI. D'acord amb aquesta recerca, es planteja una avaluació pràctica i una proposta de desenvolupament d'un sistema per la detecció de duplicats entre requisits d'un projecte de SE. Aquesta tesi s'enmarca en el projecte OpenReq del programa EU-Horizon-2020. L'objectiu d'aquest és "implementar un sistema de decisió intel·ligent basat en la comunitat de RE". Aquesta col·laboració permet l'ús de dades reals de requisits per avaluar els algoritmes desenvolupats en aquest projecte.

Machine-Learning (ML) y Natural-Language-Processing (NLP) son dos de las principales áreas del campo de la Inteligencia Artificial (IA). ML es una tecnología de propósito genérico que utiliza el análisis de datos para extraer conocimiento del mundo real y mejorar la fiabilidad de un proceso, generalmente aplicable a extraer predicciones autónomas basadas en observaciones parciales de datos. Por otro lado, NLP consiste en el desarrollo de representaciones computacionales y el procesamiento de características del lenguaje natural. Una de sus principales áreas de aplicación es la Ingeniería de Requisitos (RE), que consiste en el conjunto de procesos de la Ingeniería Software (SE) relacionados con la gestión del conjunto de requisitos de un sistema. Entre los retos de la RE destaca la detección de requisitos duplicados. Estas duplicidades, si no se gestionan, pueden comportar una redundancia en la información textual de un proyecto, y en consecuencia, la duplicidad de tareas. Aun así, la automatización de este proceso y el uso de herramientas estandaritzades se encuentra todavía en fase de desarrollo. El objetivo de esta tesis es analizar el estado del arte de la detección automática de similitud entre requisitos de un proyecto utilizando técnicas de AI. De acuerdo con esta investigación, se plantea una evaluación práctica y una propuesta de desarrollo de un sistema por la detección de duplicados entre requisitos de un proyecto de SE. Esta tesis se enmarca en el proyecto OpenReq del programa EU-Horizon-2020. El objetivo de este es "implementar un sistema de decisión inteligente basado en la comunidad de RE". Esta colaboración permite el uso de datos reales de requisitos para evaluar los algoritmos desarrollados en este proyecto.