Evaluación de los LLMs para la generación de código

Abstract

Code generation using LLM is a burgeoning field following the popularity of tools such as ChatGPT or GitHub Copilot. With these tools, a programmer can significantly reduce the time it takes to develop code. However, there is no certainty that the generated code is correct. In this context, the objective of this study is to conduct an assessment that allows the evaluation of the quality of the generated code when applying different methodologies. To achieve this, a plan has been defined with several specific tasks. Specifically, this tasks are: 1. A study of the state of the art, contextualizing the current situation of the field of code generation using LLM. 2. The design and development of a prototype, which allows the execution of all the necessary tests by sending queries to the LLM API. 3. Analysis of the results obtained, conducting a comparative study on all the results obtained by applying the different methodologies. As a result, some conclusions will be reached that will allow to determine of the viability of the use of these methodologies in code generation with LLM and, additionally, will allow the identification of current shortcomings and potential improvements to be developed in the future.

La generación de código mediante LLMs (Large Language Models) es un campo que está en auge después de la popularidad de herramientas como ChatGPT o GitHub Copilot. Con ellas, la persona que desarrolla código mejora considerablemente el tiempo que invierte en escribir código fuente. No obstante, no se tiene la certeza que el código generado sea correcto. Partiendo de este contexto, el objetivo de este trabajo es llevar a cabo un estudio que permita evaluar el grado de calidad que tiene el código generado aplicando distintas metodologías. Para poder lograrlo, se ha definido una planificación con distintas tareas específicas. Concretamente, son: 1. Estudio del estado del arte donde se contextualice cuál es la situación actual del campo de la generación de código usando LLMs. 2. Diseño y desarrollo del prototipo que permita llevar a cabo todas las pruebas necesarias enviando consultas a la API del LLM. 3. Análisis de los resultados obtenidos, donde se lleve a cabo un estudio comparativo sobre todos los resultados obtenidos aplicando las distintas metodologías. Como resultado, se conseguirán unas conclusiones que permitirán determinar la viabilidad del uso de estas metodologías en la generación de código con LLMs y, además, permitirá determinar cuáles son las carencias actuales y las posibles mejoras que desarrollar de cara al futuro.

La generació de codi mitjançant LLM (Large Language Models) és un camp que està en auge després de la popularitat d'eines com ChatGPT o GitHub Copilot. Amb elles, un programador millora considerablement el temps que tarda a desenvolupar codi font. No obstant això, no es té certesa que el codi generat sigui correcte. Partint d'aquest context, l'objectiu d'aquest treball és dur a terme un estudi que permeti avaluar el grau de qualitat que té el codi generat aplicant diferents metodologies. Per poder-ho aconseguir, s'ha definit una planificació amb diverses tasques específiques. Concretament, són: 1. Estudi de l'estat de l'art, on es contextualitzi quina és la situació actual del camp de la generació de codi utilitzant LLM. 2. Disseny i desenvolupament del prototip, que permeti dur a terme totes les proves necessàries enviant consultes a l'API del LLM. 3. Anàlisi dels resultats obtinguts, on es dugui a terme un estudi comparatiu sobre tots els resultats obtinguts aplicant les diferents metodologies. Com a resultat, s'aconseguiran unes conclusions que permetre determinar la viabilitat de l'ús d'aquestes metodologies en la generació de codi amb LLM i, a més, permetrà determinar quines són les carències actuals i les possibles millores a desenvolupar de cara al futur.