Evaluación y Comparativa de Modelos de Lenguaje a Gran Escala (LLM) en Local para Arquitecturas RAG Efectividad, Privacidad y Autonomía

Abstract

Este proyecto tiene como objetivo evaluar la efectividad de Modelos de Lenguaje a Gran Escala (LLM) ejecutados en entornos locales dentro de arquitecturas de Generación Aumentada por Recuperación (RAG). Se llevará a cabo un benchmarking comparativo entre la ejecución en local y en la nube de varios modelos preentrenados, como GPT y LLaMA, utilizando estrategias de evaluación especializadas para entornos RAG, como RAGAs, enfocadas en la precisión en la recuperación, y la coherencia en la generación. El estudio se centrará en determinar si la ejecución local de LLMs puede ofrecer resultados comparables en precisión y eficacia a los obtenidos en la nube, analizando también las ventajas en términos de privacidad y autonomía que proporcionan los entornos locales frente a sus limitaciones computacionales.