Entrenament mitjançant aprenentatge per reforç d’un model de llenguatge per a la generació automatitzada d’aplicacions

Abstract

Es vol definir una estratègia que aprofiti la potència dels grans models de llenguatge per a la generació automatitzada d’aplicacions. Amb aquesta finalitat es dissenya i entrena un model de llenguatge generatiu a partir de fonts pròpies. La utilització d’aquests models en el camp del desenvolupament d’aplicacions es troba limitat al context de l'assistència, tot i que l’evolució de la seva qualitat comença a fer-los adients per automatitzar tasques d’aquest tipus. Malgrat que l’accés als grans models preentrenats s’ha privatitzat existeix una gran comunitat que treballa en versions obertes. Es proposa fer servir una d’aquestes arquitectures obertes, la nanoGPT, per entrenar un model amb aquesta finalitat. Degut a l’elevat cost de computació i els grans volums de dades requerits, s’ha hagut de multiplicar els datasets originals mitjançant plantilles. En un procés iteratiu s'han entrenat i comparat diferents configuracions dels models cercant la millora de la qualitat dels seus resultats. Gràcies a això i a l’aplicació de tècniques d’enginyeria d’indicacions s’ha arribat a assolir l’objectiu de generar petites aplicacions de forma automatitzada amb les funcionalitats i paràmetres requerits. Aplicant aquestes resultats es podria entrenar un model a partir de codi productiu per a oferir suport a una aplicació que faciliti la creació automatitzada d’aplicacions. El cost de la infraestructura necessària porta a valorar la utilització d’un model preentrenat refinat amb el codi propi resultant a més una eina que pot ser consultada directament amb llenguatge natural per a l’obtenció del programa necessari sense necessitat d’aplicació mitjancera.

This work aims to define a strategy to take advantage of the large language models for automated application generation. To this end, a generative language model is designed and trained using proprietary sources. While the use of these models in application development is currently limited to the context of assistance, their improving quality is making them increasingly suitable for automating tasks of this type. Although the privatization of access to pre-trained large models there is a large community working on open versions. It is proposed to use one of these open architectures, the NanoGPT, to train a model for this purpose. Due to the high computational cost and the large volumes of data required, the original datasets had to be multiplied using templates. In an iterative process, different configurations of the models have been trained and compared, seeking to improve the quality of their results. Through this approach and the application of prompt engineering techniques, the goal of generating small applications in an automated way with the required functionalities and parameters has been achieved. Applying these results, it becomes possible to train a model based on production code to provide support for an application that facilitates the automated creation of applications. Considering the cost of the necessary infrastructure, using a pre-trained model refined with custom code becomes an attractive option. This tool can be directly queried using natural language to obtain the required program without the need for an intermediary application.