Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/10609/147615
Título : | Study of the Feasibility of Serverless Access Transparency for Python Multiprocessing Applications |
Autoría: | Finol, Gerard Arjona, Aitor |
Tutor: | Garcia Lopez, Pedro |
Resumen : | La transparencia de acceso significa que tanto los recursos locales como los remotos se acceden mediante operaciones idénticas. La transparencia simplifica la complejidad de programar un sistema distribuido porque el sistema se percibe como un todo y no como una colección de componentes independientes. Con la transparencia de acceso, podemos tratar los recursos de computación, almacenamiento y memoria desagregados como si fueran una única máquina monolítica. Esto simplificaría considerablemente la creación y ejecución de aplicaciones paralelas en la Nube de forma escalable. En este trabajo, evaluamos la viabilidad de la transparencia de acceso sobre recursos desagregados en la Nube de última generación. Proponemos una implementación alternativa de la API de multiprocesamiento de Python que ejecuta de forma transparente procesos distribuidos sobre funciones sin servidor y que aprovecha el almacenamiento desagregado en memoria para mantener consistente el estado compartido de los procesos y mediar en su comunicación. Para evaluar la transparencia, hemos utilizado cuatro aplicaciones paralelas con estado pensadas para ejecutarse localmente (Evolution Strategies de Uber Research, Proximal Policy Optimization de Baselines-AI, dataframe de Pandaral-lel e Hyperparameter tuning de ScikitLearn) y, sin cambiar el código, las hemos escalado con tecnología sin servidor. Comparamos el tiempo de ejecución y escalabilidad de la misma aplicación, ejecutándose sobre recursos desagregados usando nuestra librería, con las librerías Python de una sola máquina en una gran VM. A pesar de la mayor latencia y el menor rendimiento de la comunicación, logramos resultados comparables y observamos que las aplicaciones pueden seguir escalando más allá de los recursos limitados de la VM, lo que conduce a una mejor aceleración y paralelismo. |
Palabras clave : | transparencia disgregación sin servidor |
Tipo de documento: | info:eu-repo/semantics/masterThesis |
Fecha de publicación : | 29-jun-2021 |
Licencia de publicación: | http://creativecommons.org/licenses/by/3.0/es/ |
Aparece en las colecciones: | Bachelor thesis, research projects, etc. |
Ficheros en este ítem:
Fichero | Descripción | Tamaño | Formato | |
---|---|---|---|---|
gfinol_aarjonapeFMDP0621report.pdf | Report of FMDP | 4,6 MB | Adobe PDF | Visualizar/Abrir |
Comparte:
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons