Profiling HPC applications in containerized environments

Abstract

Scientific studies very often rely on supercomputers to solve difficult problems. However, reproducibility is one of the core principles in any scientific research and it is often expected that the findings of any study can be replicated with a high degree of reliability. Running these applications in containers that have been prepared and curated beforehand can provide the desired reliability, remove unnecessary complexity and reduce the manual interaction to reduce the risk of human errors. The overall goal of this project is to use Docker to create an image that contains a distributed scientific application in addition to the necessary tools that allow profiling the behaviour of the program after its execution with different workloads. The Docker containers will be managed with Singularity , the most widely used container system for HPC. The infrastructure of the HPC cluster used for this study is composed of Raspberries Pi 4 Model B hosted on-premises.

Los estudios científicos se apoyan muy a menudo en los superordenadores para resolver problemas difíciles. Sin embargo, la reproducibilidad es uno de los principios básicos de cualquier investigación científica y a menudo se espera que los resultados de cualquier estudio puedan reproducirse con un alto grado de fiabilidad. Ejecutar estas aplicaciones en contenedores que han sido preparados y curados de antemano puede proporcionar la fiabilidad deseada, eliminar la complejidad innecesaria y reducir la interacción manual para reducir el riesgo de errores humanos. El objetivo general de este proyecto es utilizar Docker para crear una imagen que contenga una aplicación científica distribuida además de las herramientas necesarias que permitan perfilar el comportamiento del programa tras su ejecución con diferentes cargas de trabajo. Los contenedores Docker se gestionarán con Singularity , el sistema de contenedores más utilizado para HPC. La infraestructura del clúster HPC utilizado para este estudio está compuesta por Raspberries Pi 4 Modelo B alojadas on-premise.

Els estudis científics se secunden molt sovint en els supercomputadors per a resoldre problemes difícils. No obstant això, la reproductibilitat és un dels principis bàsics de qualsevol recerca científica i sovint s'espera que els resultats de qualsevol estudi puguin reproduir-se amb un alt grau de fiabilitat. Executar aquestes aplicacions en contenidors que han estat preparats i curats per endavant pot proporcionar la fiabilitat desitjada, eliminar la complexitat innecessària i reduir la interacció manual per a reduir el risc d'errors humans. L'objectiu general d'aquest projecte és utilitzar Docker per a crear una imatge que contingui una aplicació científica distribuïda a més de les eines necessàries que permetin perfilar el comportament del programa després de la seva execució amb diferents càrregues de treball. Els contenidors Docker es gestionaran amb Singularity, el sistema de contenidors més emprat per a HPC. La infraestructura del clúster HPC emprat per a aquest estudi està composta per Raspberries Pi 4 Model B allotjades on-premise.