Aplicació de models de llenguatge extensos (LLMs) per a la generació de feedback de lliuraments avaluables amb rúbrica d’avaluació a l’educació superior

Abstract

El feedback és una influència molt poderosa en el procés d’aprenentatge en l’educació superior, per la qual cosa és essencial proporcionar un feedback de qualitat per a potenciar el seu impacte en el rendiment acadèmic. Tanmateix, generar un feedback de qualitat implica una despesa significativa de temps i recursos. Aquest fet sovint resulta en un feedback generalitzat, poc personalitzat i, en alguns casos, lliurat amb demora, disminuint així el seu potencial impacte positiu. Per aquesta raó, nombrosos estudis han avaluat l’ús de models basats en processament de llenguatge natural (NLP) d’intel·ligència artificial (IA), revelant el seu potencial per a millorar l’experiència acadèmica dels estudiants i alleujar la càrrega de treball dels docents. L’aparició dels models de llenguatge extensos (LLMs) ha obert la porta a millorar aquest aspecte, encara que amb l’ús de rúbriques d’avaluació no s’han arribat a conclusions definitives sobre la seva aplicació pràctica. Per a abordar aquest repte, en aquest treball hem integrat el Canvas LMS de la UOC amb els LLMs d’OpenAI per a generar feedback específic i general dels lliuraments dels estudiants de l’assignatura de Disseny d’Interfícies del Grau de Multimèdia, a partir de la rúbrica d’avaluació de l’activitat. Per això, hem dissenyat un prompt basat en l’anàlisi de les característiques que defineixen un bon feedback. Els resultats obtinguts mostren que, aplicant tècniques de prompt engineering, la IA generativa és capaç de generar un feedback de notable qualitat, comparable al del professorat humà. No obstant això, cal reconèixer que les limitacions del projecte poden haver influït en algunes discrepàncies dels resultats obtinguts. En conseqüència, aquest estudi explora la viabilitat d’aplicar aquesta tecnologia en futures recerques per a proporcionar feedback detallat a partir d’una rúbrica d’avaluació en entorns educatius reals.

Feedback is a very powerful influence on the learning process in higher education, making it essential to provide quality feedback to maximize its impact on academic performance. However, generating quality feedback requires a significant expenditure of time and resources. This often results in generalized, less personalized feedback, and in some cases, it is delivered with delay, thus diminishing its potential positive impact. For this reason, numerous studies have evaluated the use of artificial intelligence (AI) models based on natural language processing (NLP), revealing their potential to enhance the academic experience of students and relieve the workload of teachers. The emergence of large language models (LLMs) has opened the door to improving this aspect, although no definitive conclusions have been reached regarding their practical application using assessment rubrics. To address this challenge, in this work, we have integrated UOC's Canvas LMS with OpenAI's LLMs to generate specific and general feedback on student submissions in the Interface Design course of the Multimedia Degree, based on the activity assessment rubric. For this purpose, we have designed a prompt based on the analysis of characteristics that define good feedback. The results obtained show that by applying prompt engineering techniques, generative AI can produce feedback of notable quality, comparable to that of human teachers. Nevertheless, it is necessary to recognize that the limitations of the project may have influenced some discrepancies in the results obtained. Consequently, this study explores the potential application of this technology in future research to provide detailed feedback based on an assessment rubric in real educational settings.