Avaluació dels LLM per la generació de codi

Abstract

La generació de codi mitjançant LLM (Large Language Models) és un camp que està en auge després de la popularitat d'eines com ChatGPT o GitHub Copilot. Amb elles, un programador millora considerablement el temps que tarda a desenvolupar codi font. No obstant això, no es té certesa que el codi generat sigui correcte. Partint d'aquest context, l'objectiu d'aquest treball és dur a terme un estudi que permeti avaluar el grau de qualitat que té el codi generat aplicant diferents metodologies. Per poder-ho aconseguir, s'ha definit una planificació amb diverses tasques específiques. Concretament, són: 1. Estudi de l'estat de l'art, on es contextualitzi quina és la situació actual del camp de la generació de codi utilitzant LLM. 2. Disseny i desenvolupament del prototip, que permeti dur a terme totes les proves necessàries enviant consultes a l'API del LLM. 3. Anàlisi dels resultats obtinguts, on es dugui a terme un estudi comparatiu sobre tots els resultats obtinguts aplicant les diferents metodologies. Com a resultat, s'aconseguiran unes conclusions que permetre determinar la viabilitat de l'ús d'aquestes metodologies en la generació de codi amb LLM i, a més, permetrà determinar quines són les carències actuals i les possibles millores a desenvolupar de cara al futur.

Code generation using LLM is a burgeoning field following the popularity of tools such as ChatGPT or GitHub Copilot. With these tools, a programmer can significantly reduce the time it takes to develop code. However, there is no certainty that the generated code is correct. In this context, the objective of this study is to conduct an assessment that allows the evaluation of the quality of the generated code when applying different methodologies. To achieve this, a plan has been defined with several specific tasks. Specifically, this tasks are: 1. A study of the state of the art, contextualizing the current situation of the field of code generation using LLM. 2. The design and development of a prototype, which allows the execution of all the necessary tests by sending queries to the LLM API. 3. Analysis of the results obtained, conducting a comparative study on all the results obtained by applying the different methodologies. As a result, some conclusions will be reached that will allow to determine of the viability of the use of these methodologies in code generation with LLM and, additionally, will allow the identification of current shortcomings and potential improvements to be developed in the future.