Agente inversor para acciones de small cap mediante el uso de Reinforcement Learning

Abstract

In the current context, the stock market has become a complex and ever-changing industry, where decision-making can be crucial for making significant profits or incurring significant losses. The evolution of investment systems has led to the incorporation of innovative machine learning techniques, such as Reinforcement Learning, which allow them to learn and adapt to market changes in real-time. Reinforcement Learning is a branch of machine learning based on the concept of reward and punishment, which aims to maximise the reward obtained through interaction with an environment. This technique has proven its effectiveness in solving complex problems and has been successfully applied in environments such as robotics and video games. In this context, the use of Reinforcement Learning in the stock market presents itself as a promising alternative for the design of optimal and profitable investment strategies in a changing and highly competitive environment. The objective of this Master’s thesis is to establish a new line of research in predicting stock values of ”small cap¸companies through the use of Deep Reinforcement Learning algorithms. The first algorithm is the Proximal Policy Optimization (PPO), where the implementation of Liu et al. [11] will be used. On the other hand, the A2C and DDPG algorithms will be employed, which have been promising according to this paper Liu et al.

En el contexto actual, el mercado bursátil se ha convertido en una industria compleja y en constante cambio, donde la toma de decisiones puede ser crucial para obtener beneficios o incurrir en pérdidas significativas. La evolución de los sistemas de inversión ha llevado a la incorporación de técnicas innovadoras de aprendizaje automático, como el Reinforcement Learning, que permiten aprender y adaptarse a los cambios del mercado en tiempo real. El Reinforcement Learning es una rama del aprendizaje automático que se basa en el concepto de premio y castigo, y su objetivo es maximizar la recompensa obtenida a través de un proceso de interacción con un entorno. Esta técnica ha demostrado su eficacia en la resolución de problemas complejos y ha sido aplicada con éxito en entornos como la robótica y los videojuegos. En este contexto, el uso del Reinforcement Learning en el mercado bursátil se presenta como una alternativa prometedora para el diseño de estrategias de inversión óptimas y rentables en un entorno cambiante y altamente competitivo. El objetivo de esta tesis de fin de Máster es establecer una nueva línea de investigación en la predicción de valores de las acciones de empresas ”small cap” mediante el uso de algoritmos de Deep Reinforcement Learning. El primer algoritmo es el Proximal Policy Optimization (PPO) A, donde se utilizará la implementación de Liu et al. [11]. En ella, se muestra como es un buen agente de bolsa en momentos al alza pero son mas vulnerables en etapas de descenso. Por otro lado, se mencionan los algoritmos A2C C y B, los cuales han sido prometedores en la misma obra. Se demuestra que el DDPG, no es tan eficaz como el PPO, aunque sí es mas cauto en etapas de caídas en bolsa.