Semi-automatic generation of a corpus of Wikipedia articles on science and technology

Abstract

Despite the huge amount of scientific and technological content available on the World Wide Web, most of it is closed behind paywalls, as with academic journals, or almost invisible, as with institutional repositories. Wikipedia can act as a chain-transfer agent, providing people with an accessible, organized structure containing both understandable content and links to original sources. In Wikipedia, categories are collaboratively created and thus become a folksonomy rather than a true taxonomy. Consequently, categories are not a reliable tool to identify topics¿ organization. In this paper we describe a semi-automatic method, based on random walks, for determining a subset of pages containing scientific and technological content in the Spanish Wikipedia. Using the Unesco taxonomy, we determined the underlying graph structure of our corpus and detected clusters of pages strongly linked, establishing relationships between knowledge domains. Finally, we present the distribution of Wikipedia articles according to the Unesco taxonomy and the resulting map of scientific and technological content.

A pesar de la gran cantidad de contenido científico y tecnológico disponible en la World Wide Web, su mayoría se encuentra encerrado tras sistemas de pago, como las revistas académicas, o es casi invisible, como los repositorios institucionales. Wikipedia puede actuar como un agente de transferencia, proporcionando una estructura organizada y accesible conteniendo tanto contenidos como enlaces a las fuentes originales. En Wikipedia las categorías se han cread colaborativamente y por lo tanto son más una folksonomía que una verdadera taxonomía. Consecuentemente, las categorías no son una herramienta válida para identificar la organización de los contenidos. En este artículo se describe un método semi-automático, basado en paseos aleatorios, para determinar un subconjunto de páginas con contenido científico y tecnológico de la Wikipedia española. Usando la taxonomía Unesco, se determina la estructura subyacente del grafo del corpus y se detectan grupos de páginas fuertemente enlazadas, estableciendo las relaciones entre las áreas de conocimiento. Finalmente, se presenta la distribución de artículos de Wikipedia de acuerdo con la taxonomía Unesco y el mapa resultante de contenido científico y tecnológico.