Ascertaining the Relevance of Open Educational Resources by Integrating Various Quality Indicators

Abstract

El propòsit del moviment de desenvolupament de recursos educatius oberts és proporcionar accés lliure a materials educatius d'alta qualitat disponibles en repositoris. No obstant això, tenir accés a una gran quantitat de materials educatius no garanteix que aquests siguin de qualitat, i els mecanismes emprats per a recomanar els recursos educatius utilitzats fins avui s'han mostrat insuficients per diferents motius. La majoria dels sistemes d'avaluació es basen en una costosa inspecció manual que no permet tenir avaluats tots els materials; a més, moltes vegades no es tenen en compte altres informacions útils com la utilització que fan els usuaris dels materials, les avaluacions fetes pels usuaris i les metadades que descriuen el material educatiu. Per a intentar millorar aquesta situació, en aquest document s'exposen les mancances de les propostes existents i s'identifiquen tots els possibles indicadors de qualitat que poden aportar informació sobre quins materials s'han de recomanar als usuaris. Per mitjà de l'estudi d'un conjunt significatiu de materials del repositori Merlot, s'analitzen les relacions que hi ha entre els diferents indicadors de qualitat disponibles, per a constatar que hi ha nombroses correlacions entre ells. Posteriorment i a partir d'aquesta anàlisi, es proposa una mesura de rellevància que integri tots els indicadors de qualitat existents. D'aquesta manera s'utilitzaran les avaluacions explícites fetes per usuaris o experts, la informació descriptiva provinent de les metadades i les dades que procedeixen de l'ús d'aquestes metadades, per a aconseguir augmentar la fiabilitat de les recomanacions amb la integració de diferents perspectives de la qualitat. A més, com que aquesta mesura es pot calcular de manera automàtica, se'n garantirà la sostenibilitat, ja que no necessitarà la intervenció humana per a fer-ne el càlcul, la qual cosa permetrà que tots els materials educatius que són en repositoris siguin valorats.

The aim of the open educational resource (OER) development movement is to provide free access to high-quality educational materials in repositories. However, having access to a large amount of educational materials does not provide any assurance of their quality, and the mechanisms so far used to recommend educational resources have shown themselves to be lacking for a variety of reasons. Most evaluation systems are based on a costly manual inspection, which does not allow all materials to be evaluated. Moreover, it is often the case that other useful pieces of information are ignored, such as the use that users make of the materials, the evaluations that users perform on them and the metadata used to describe them. To try and improve this situation, this article presents the shortcomings of existing proposals and identifies every possible quality indicator that is able to provide the necessary information to enable materials to be recommended to users. By studying a significant set of materials contained in the MERLOT repository, the relationships among various, currently available quality indicators were analysed and numerous correlations among them were established. On the basis of that analysis, a measure of relevance is proposed, which integrates all existing quality indicators. Thus, the explicit evaluations made by users or experts, the descriptive information obtained from metadata and the data obtained from the use of the latter are employed in order to increase the reliability of recommendations by integrating various quality aspects. In addition, this measure is sustainable because it can be calculated automatically and does not require human intervention; this will allow all educational materials located in repositories to be rated.

El propósito del movimiento de desarrollo de recursos educativos abiertos es proporcionar libre acceso a materiales educativos de alta calidad disponibles en repositorios. Sin embargo, tener acceso a una gran cantidad de materiales educativos no garantiza que estos sean de calidad, y los mecanismos empleados para recomendar los recursos educativos utilizados hasta la fecha se han mostrado insuficientes por diferentes motivos. La mayoría de los sistemas de evaluación están basados en una costosa inspección manual que no permite tener evaluados todos los materiales; además, muchas veces no se tienen en cuenta otras informaciones útiles como la utilización que hacen los usuarios de los materiales, las evaluaciones hechas por los usuarios y los metadatos que describen el material educativo. Para intentar mejorar esta situación, en este documento se exponen las carencias de las propuestas existentes y se identifican todos los posibles indicadores de calidad que pueden aportar información sobre qué materiales recomendar a los usuarios. A través del estudio de un conjunto significativo de materiales del repositorio Merlot se analizan las relaciones existentes entre los distintos indicadores de calidad disponibles, para constatar que existen numerosas correlaciones entre ellos. Posteriormente y a partir de este análisis, se propone una medida de relevancia que integre todos los indicadores de calidad existentes. De esta manera se utilizarán las evaluaciones explícitas realizadas por usuarios o expertos, la información descriptiva proveniente de los metadatos y los datos que proceden del uso de estos, para lograr aumentar la fiabilidad de las recomendaciones al integrar diferentes perspectivas de la calidad. Además, como esta medida se puede calcular de forma automática se garantizará su sostenibilidad, ya que no necesitará de la intervención humana para su cálculo, lo que permitirá que todos los materiales educativos ubicados en repositorios estén valorados.