On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses

Abstract

En el context de l'espai europeu d'ensenyament superior, en el qual l'avaluació formativa té un paper essencial, cal explorar noves eines amb la finalitat de posar en pràctica estratègies innovadores de seguiment i avaluació dels estudiants. El mòdul de qüestionaris en l'entorn Moodle representa una alternativa davant les metodologies tradicionals, com, per exemple, les proves escrites. En el marc de les ajudes per a la millora de la docència concedides per l'Institut de Ciències de l'Educació de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC), durant el curs acadèmic 2008-2009 es va dur a terme un projecte docent que tenia com a objectiu principal el disseny de preguntes tipus test i la implementació posterior d'aquestes preguntes en qüestionaris de l'entorn Moodle per a assignatures de matemàtiques i estadística corresponents a primers cursos de titulacions d'enginyeria. Amb els resultats dels qüestionaris fets pels estudiants, es va veure que era convenient analitzar-ne i revisar-ne la fiabilitat i adequació per a avalar aquestes activitats d'avaluació del procés d'aprenentatge. L'anàlisi dels coeficients psicomètrics facilitats per Moodle va ser una eina útil a l'hora de valorar si les qüestions que s'havien proposat tenien el nivell de dificultat adequat i si, en conseqüència, eren convenients per a discriminar entre bones pràctiques i males pràctiques. En el marc d'un altre projecte, també subvencionat per la UPC, durant el curs acadèmic següent, 2009-2010, es van revisar d'una manera exhaustiva els qüestionaris implementats amb la finalitat de millorar-ne l'eficiència com a eina d'avaluació. En aquest treball es presenten: a) els resultats dels qüestionaris fets pels estudiants durant aquests dos cursos acadèmics en les assignatures Matemàtiques 1 i Matemàtiques 2 de primer any dels quatre graus d'Enginyeria de Biosistemes de l'Escola Superior d'Agricultura de Barcelona de la UPC, i també l'opinió dels estudiants sobre aquest tipus d'activitat; b) la revisió i l'adaptació dels qüestionaris a partir dels índexs psicomètrics per a millorar-ne l'eficiència. Finalment, a partir dels resultats analitzats es fa una reflexió sobre la conveniència d'utilitzar aquest tipus d'eines per a l'avaluació formativa dels estudiants.

Given the importance of formative assessment in the context of the European Higher Education Area, it is necessary to explore new tools to implement innovative strategies for the formative assessment of students. Moodle's quiz module represents an alternative to traditional tools, such as paper-and-pencil tests. In 2008, we carried out a project subsidised by the Institute of Education Sciences at the Universitat Politècnica de Catalunya - BarcelonaTech (UPC), the main aim of which was to elaborate a number of Moodle question pools and to design, implement and assess a series of quizzes from these pools. The project covered the compulsory undergraduate subjects in applied mathematics included in the first- and second-year syllabuses for all branches of Engineering. From the students' results, it was then necessary to examine and revise the reliability of the quizzes as an assessment tool of the teaching and learning process. The analysis of the psychometric coefficients provided by Moodle proved to be a useful tool for assessing whether the questions had an appropriate level of difficulty and were suitable for discriminating between good and bad performers. Taking into account the psychometric analysis of this first project, in 2009 we initiated a new project, in which we planned to revise thoroughly the quizzes created in the former project, to improve their suitability as an assessment tool. This paper shows: 1) the students' results in the quizzes performed in the two academic years in the courses Mathematics 1 and Mathematics 2 - both taught in the first year of the four bachelor's degree programmes in Biological Systems Engineering organised by the School of Agricultural Engineering of Barcelona at the UPC, as well as the students' attitudes towards activities of this kind; and 2) the revision and fine-tuning of the quizzes from the psychometric analysis to improve their reliability. Finally, the analysis of the results reported leads to a discussion on the advisability of using this tool for the formative assessment of students.

En el contexto del Espacio Europeo de Educación Superior, en el que la evaluación formativa desempeña un papel esencial, es necesario explorar nuevas herramientas con el fin de implementar estrategias innovadoras de seguimiento y evaluación de los estudiantes. El módulo de cuestionarios en el entorno Moodle representa una alternativa frente a las metodologías tradicionales, como pueden ser las pruebas escritas. En el marco de las ayudas para la mejora de la docencia concedidas por el Instituto de Ciencias de la Educación de la Universidad Politécnica de Cataluña - BarcelonaTech (UPC), durante el curso académico 2008/2009 se llevó a cabo un proyecto docente cuyo objetivo principal era el diseño de preguntas tipo test y su posterior implementación en cuestionarios del entorno Moodle para asignaturas de matemáticas y estadística correspondientes a primeros cursos de titulaciones de ingeniería. Con los resultados de los cuestionarios realizados por los estudiantes, se vio que era conveniente analizar y revisar su fiabilidad y adecuación para avalar estas actividades de evaluación del proceso de aprendizaje. El análisis de los coeficientes psicométricos facilitados por Moodle resultó ser una herramienta útil a la hora de valorar si las cuestiones propuestas tenían el nivel de dificultad adecuado y si, en consecuencia, eran convenientes para discriminar entre buenas y malas prácticas. En el marco de otro proyecto, también subvencionado por la UPC, durante el siguiente curso académico 2009/2010 se revisaron de forma exhaustiva los cuestionarios implementados con el fin de mejorar su eficiencia como herramienta de evaluación. En este trabajo se presentan: i) los resultados de los cuestionarios realizados por los estudiantes durante esos dos cursos académicos en las asignaturas Matemáticas 1 y Matemáticas 2 de primer año de los cuatro grados de Ingeniería de Biosistemas de la Escuela Superior de Agricultura de Barcelona de la UPC, así como la opinión de los estudiantes sobre este tipo de actividad, ii) la revisión y adaptación de los cuestionarios a partir de los índices psicométricos para mejorar su eficiencia. Finalmente, a partir de los resultados analizados se hace una reflexión sobre la conveniencia de utilizar este tipo de herramientas para la evaluación formativa de los estudiantes.