A staging area for in-memory computing

Abstract

An in-memory staging area provides fast access to different applications. This research is based on evaluating the benefits of a distributed in-memory staging area applied to the field of Big data. With this purpose, a prototype is designed and proposed to verify the idea. Then, a working version comprised of the in-memory software Alluxio and the processing engine Apache Spark is deployed and evaluated. In particular, the work demonstrates the increase in performance resulting from updating the data in the in-memory staging instead of allocating space for new objects. The evaluation is conducted by running an analytic with Spark over a continuously changing dataset stored in Alluxio. The experiments reported a throughput increase of 10x when compared to storing information in a regular parallel filesystem, and an increase of 3x compared to the official deployment methodology. By updating the dataset, the Alluxio in-memory capacity stays constant at a low level compared to current deployments where its capacity decreases linearly, resulting in lower performance.

Esta investigación se basa en evaluar los beneficios de un área de almacenamiento en memoria distribuida aplicada al campo de Big data. Con este propósito, se diseña y propone un prototipo para verificar la idea. Luego, se implementa y evalúa una versión de trabajo compuesta por el software de memoria Alluxio y el motor de procesamiento Apache Spark. En particular, el trabajo demuestra el aumento en el rendimiento que resulta de actualizar los datos en la puesta en escena de memoria en lugar de asignar espacio para nuevos objetos. La evaluación se realiza ejecutando una analítica con Spark sobre un conjunto de datos que cambia continuamente y que se almacena en Alluxio. Los experimentos sacaron un aumento del rendimiento de 10x en comparación con el almacenamiento de información en un sistema de archivos paralelo regular, y un aumento de 3x en comparación con la metodología de implementación oficial. Al actualizar el conjunto de datos, la capacidad en memoria de Alluxio se mantiene constante en un nivel bajo en comparación con las implementaciones actuales, donde su capacidad disminuye linealmente, lo que resulta en un menor rendimiento.

Aquesta recerca es basa a avaluar els beneficis d'un àrea d'emmagatzematge en memòria distribuïda aplicada al camp de Big data. Amb aquest propòsit, es dissenya i proposa un prototip per verificar la idea. Després, s'implementa i avalua una versió de treball composta pel programari de memòria Alluxio i el motor de processament Apatxe Spark. En particular, el treball demostra l'augment en el rendiment que resulta d'actualitzar les dades en la posada en escena de memòria en lloc d'assignar espai per a nous objectes. L'avaluació es realitza executant una analítica amb Spark sobre un conjunt de dades que canvia contínuament i que s'emmagatzema en Alluxio. Els experiments van treure un augment del rendiment de 10x en comparació de l'emmagatzematge d'informació en un sistema d'arxius paral·lel regular, i un augment de 3x en comparació de la metodologia d'implementació oficial. En actualitzar el conjunt de dades, la capacitat en memòria de Alluxio es manté constant en un nivell baix en comparació de les implementacions actuals, on la seva capacitat disminueix linealment, la qual cosa resulta en un menor rendiment.