Evaluating Discrete and Continuous Action Spaces in Soft Actor-Critic for Single-Asset Cryptocurrency Trading

Abstract

This thesis explores the impact of action space design on the performance of Soft Actor-Critic (SAC) algorithms in single-asset cryptocurrency trading environments. Reinforcement learning (RL) has shown promise in financial markets, where decision-making under uncertainty is critical. SAC, with its adaptability to continuous and discrete actions, offers a unique opportunity to assess how action granularity influences trading performance. The study involves implementing SAC in two versions of a trading environment: one with discrete actions (e.g., buy, hold, sell) and another with continuous actions (e.g., varying position sizes). By analyzing key metrics such as profitability, risk-adjusted returns, and computational efficiency, this research aims to provide insights into the trade-offs between action space design choices in RL for financial applications. The findings are expected to contribute to the development of more effective RL-based trading systems.

Aquesta tesi explora l'impacte del disseny d'espais d'acció en l'actuació de Soft Actor-Critic algorismes (SAC) en entorns de comerç de criptomoneda d'un sol actiu. L'aprenentatge de reforç (RL) s'ha mostrat prometedor als mercats financers, on la presa de decisions en condicions d'incertesa és fonamental. SAC, amb la seva adaptabilitat a accions contínues i discretes, ofereix una oportunitat única per avaluar com la granularitat de l'acció influeix en el rendiment comercial. L'estudi implica implementar SAC en dues versions d'un entorn de negociació: una amb accions discretes (per exemple, comprar, mantenir, vendre) i una altra amb accions contínues (per exemple, diferents mides de posició). Mitjançant l'anàlisi de mètriques clau com ara la rendibilitat, els rendiments ajustats al risc i l'eficiència computacional, aquesta investigació pretén proporcionar informació sobre les compensacions entre les opcions de disseny d'espais d'acció a RL per a aplicacions financeres. S'espera que els resultats contribueixin al desenvolupament de sistemes comercials basats en RL més efectius.

Esta tesis explora el impacto del diseño del espacio de acción en el desempeño del Actor-Crítico Suave. (SAC) en entornos de comercio de criptomonedas de un solo activo. El aprendizaje por refuerzo (RL) se ha mostrado prometedor en los mercados financieros, donde la toma de decisiones en condiciones de incertidumbre es fundamental. SAC, con su adaptabilidad a acciones continuas y discretas, ofrece una oportunidad única para evaluar cómo la granularidad de las acciones influye en el rendimiento comercial. El estudio implica implementar SAC en dos versiones de un entorno comercial: una con acciones discretas (por ejemplo, comprar, mantener, vender) y otra con acciones continuas (por ejemplo, diferentes tamaños de posición). Al analizar métricas clave como la rentabilidad, los rendimientos ajustados al riesgo y la eficiencia computacional, esta investigación tiene como objetivo proporcionar información sobre las compensaciones entre las opciones de diseño del espacio de acción en RL para aplicaciones financieras. Se espera que los hallazgos contribuyan al desarrollo de sistemas comerciales basados ​​en RL más eficaces.