AVALUACIÓ DELS LLMs EN FUNCIÓ DEL NIVELL EDUCATIU I EL CONTEXT DE LES PREGUNTES

Abstract

Els Large Language Models (LLMs) han experimentat un creixement notable en popularitat durant els últims anys, i cada vegada sembla més evident que es convertiran en una eina quotidiana en diversos àmbits. No obstant això, els estudiants han adoptat aquesta nova tecnologia amb entusiasme, sovint sense tenir una comprensió clara de com utilitzar-la de manera òptima. Aquest projecte analitza els resultats generats pels LLMs en diferents nivells educatius (primària, secundària i proves d’accés a la universitat) i en diverses àrees de coneixement (llengua, ciència, matemàtiques, etc.) amb l’objectiu de proporcionar un marc que permeti identificar en quines situacions aquests models poden ser més útils. Els resultats mostren que els LLMs tenen un rendiment destacat en tasques relacionades amb llengües, però presenten dificultats significatives a l’hora de resoldre problemes de física i matemàtiques, on els detalls i la precisió tenen un gran impacte en el resultat final. Finalment, s’ha observat que les funcionalitats multimodals, com ara l’anàlisi d’imatges, encara no ofereixen resultats completament satisfactoris.

Large Language Models (LLMs) have gained significant popularity in the recent years, and it is increasingly evident that they will become a common tool in various areas of daily life. However, students have embraced this new technology enthusiastically, often without a clear understanding of how to use it effectively. This project evaluates the results produced by LLMs at different educational levels (primary school, secondary school, and university entrance exams) and across various subjects (language, science, mathematics, etc.) with the goal of providing a framework to understand where LLMs can be most helpful. The results indicate that LLMs perform well in language-related tasks but face significant challenges when solving problems in physics and mathematics, where small details have a considerable impact on the final result. Lastly, it was observed that multimodal functionalities, such as image analysis, still do not deliver entirely satisfactory outcomes.