A systematic mapping study of software development with GitHub

Abstract

GitHub, nowadays the most popular social coding platform, has become the reference for mining Open Source repositories, a growing research trend aiming at learning from previous software projects to improve the development of new ones. In the last years, a considerable amount of research papers have been published reporting findings based on data mined from GitHub. As the community continues to deepen in its understanding of software engineering thanks to the analysis performed on this platform, we believe that it is worthwhile to reflect on how research papers have addressed the task of mining GitHub and what findings they have reported. Objective: The main objective of this paper is to identify the quantity, topic, and empirical methods of research works, targeting the analysis of how software development practices are influenced by the use of a distributed social coding platform like GitHub. Method: A systematic mapping study was conducted with four research questions and assessed 80 publications from 2009 to 2016. Results: Most works focused on the interaction around coding-related tasks and project communities. We also identified some concerns about how reliable were these results based on the fact that, overall, papers used small data sets and poor sampling techniques, employed a scarce variety of methodologies and/or were hard to replicate. Conclusions: This paper attested the high activity of research work around the field of Open Source collaboration, especially in the software domain, revealed a set of shortcomings and proposed some actions to mitigate them. We hope that this paper can also create the basis for additional studies on other collaborative activities (like book writing for instance) that are also moving to GitHub.

GitHub, es hoy en día la plataforma de codificación social más popular, se ha convertido en la referencia para la minería de repositorios de código abierto, una tendencia creciente de investigación que apunta a aprender de proyectos de software previos para mejorar el desarrollo de nuevos. En los últimos años, se ha publicado una cantidad considerable de trabajos de investigación que informan hallazgos basados ¿¿en datos extraídos de GitHub. A medida que la comunidad continúa profundizando en su comprensión de la ingeniería de software gracias al análisis realizado en esta plataforma, creemos que vale la pena reflexionar sobre cómo los trabajos de investigación han abordado la tarea de extraer GitHub y qué conclusiones han informado. Objetivo: El objetivo principal de este trabajo es identificar la cantidad, el tema y los métodos empíricos de los trabajos de investigación, dirigidos al análisis de cómo las prácticas de desarrollo de software están influenciadas por el uso de una plataforma de codificación social distribuida como GitHub. Método: se realizó un estudio de mapeo sistemático con cuatro preguntas de investigación y se evaluaron 80 publicaciones de 2009 a 2016. Resultados: la mayoría de los trabajos se centraron en la interacción en torno a las tareas relacionadas con la codificación y las comunidades de proyectos. También identificamos algunas preocupaciones acerca de qué tan confiables eran estos resultados basados ¿¿en el hecho de que, en general, los documentos usaban conjuntos de datos pequeños y técnicas de muestreo deficientes, empleaban una escasa variedad de metodologías y / o eran difíciles de replicar. Conclusiones: Este documento atestiguó la gran actividad del trabajo de investigación en el campo de la colaboración de código abierto, especialmente en el dominio del software, reveló una serie de deficiencias y propuso algunas medidas para mitigarlas. Esperamos que este documento también pueda crear la base para estudios adicionales sobre otras actividades colaborativas (como la escritura de libros, por ejemplo) que también se están trasladando a GitHub.

GitHub, és avui dia la plataforma de codificació social més popular, s'ha convertit en la referència per a la mineria de repositoris de codi obert, una tendència creixent de recerca que apunta a aprendre de projectes de programari previs per millorar el desenvolupament de nous. En els últims anys, s'ha publicat una quantitat considerable de treballs de recerca que informen troballes basades ¿¿en dades extretes de GitHub. A mesura que la comunitat continua aprofundint en la seva comprensió de l'enginyeria de programari gràcies a l'anàlisi realitzada en aquesta plataforma, creiem que val la pena reflexionar sobre com els treballs de recerca han abordat la tasca d'extreure GitHub i quines conclusions han informat. Objectiu: L'objectiu principal d'aquest treball és identificar la quantitat, el tema i els mètodes empírics dels treballs de recerca, dirigits a l'anàlisi de com les pràctiques de desenvolupament de programari estan influenciades per l'ús d'una plataforma de codificació social distribuïda com GitHub. Mètode: es va realitzar un estudi de mapatge sistemàtic amb quatre preguntes de recerca i es van avaluar 80 publicacions de 2009 a 2016. Resultats: la majoria dels treballs es van centrar en la interacció entorn de les tasques relacionades amb la codificació i les comunitats de projectes. També identifiquem algunes preocupacions sobre quines tan confiables eren aquests resultats basats ¿¿en el fet que, en general, els documents usaven conjunts de dades petites i tècniques de mostreig deficients, empraven una escassa varietat de metodologies i / o eren difícils de replicar. Conclusions: Aquest document va testificar la gran activitat del treball de recerca en el camp de la col·laboració de codi obert, especialment en el domini del programari, va revelar una sèrie de deficiències i va proposar algunes mesures per mitigar-les. Esperem que aquest document també pugui crear la base per a estudis addicionals sobre altres activitats col·laboratives (com l'escriptura de llibres, per exemple) que també s'estan traslladant a GitHub.