Desarrollo de un agente mediante Deep Q-Learning en un entorno de juegos de plataformas

Abstract

Hoy en día cada vez es más frecuente la interacción entre las personas y los sistemas informáticos, por lo que las técnicas de aprendizaje máquina cada vez son más relevantes y necesarias en nuestras vidas ya que pueden tener aplicación en casi cualquier ámbito. Este proyecto de investigación consiste en la aplicación de la técnica de aprendizaje por refuerzo profundo al juego de plataformas "Super Mario Bros". Concretamente, en el proyecto se desarrolla la implementación del algoritmo Q-Learning, uno de los algoritmos más famosos dentro de la técnica del aprendizaje por refuerzo. Además del aprendizaje por refuerzo, debido a la complejidad del problema, se han introducido redes neuronales convolucionales, desarrollando así lo que se conoce como aprendizaje por refuerzo profundo (DQN) Con el uso de este algoritmo se pretende lograr que el personaje del videojuego sea capaz de superar los niveles que se le planteen en base a la experiencia obtenida a lo largo de su exploración de dichos niveles. Para implementar este algoritmo se ha utilizado el lenguaje de programación Python, que es el más potente para el desarrollo de sistemas de iunteligencia artificial, con sus librerías TensorFlow y Keras para la implementación de las redes neuronales A lo largo de la memoria se expone tanto el análisis, diseño e implementación del sistema, como la presentación de los resultados obtenidos y su interpretación. Para finalizar el trabajo se describe la serie de conclusiones obtenidas junto con el planteamiento del posible trabajo futuro a modo de ampliación y mejora del mismo.

Nowadays, the interaction between humans and computer systems is turning into a greater and greater tendency. Thus, the significance of machine learning techniques in our lives is constantly increasing, since they could be applied in almost every sphere. In the present work we employ Deep Reinforcement Learning technique in the platform game Super Mario Bros. In particular, the research consists in implementing the Q-Learning algorithm, one of the most relevant Deep Reinforcement Learning technique algorithms. Furthermore, due to the problem complexity, convolutional neural networks have been introduced, what leads to Deep Q-Learning (DQN). By using this algorithm we try to achieve that the videogame character is able to pass the levels which are set out to him by means of the experiences he has acquired throughout his exploration of those levels. In order to apply this algorithm, Python programming language has been used, which is the most powerful one to develop artificial intelligence systems, with its libraries TensorFlow and Keras for the neural networks implementation. Along this work, we expound the analysis, the design and the system implementation, in addition to the results and their interpretation. Finally, a series of conclusions are described as well as a future research proposal with the aim of increasing and improving the present one.

Avui dia cada vegada és més freqüent la interacció entre les persones i els sistemes informàtics, per la qual cosa les tècniques d'aprenentatge màquina cada vegada són més rellevants i necessàries en les nostres vides ja que poden tenir aplicació en gairebé qualsevol àmbit. Aquest projecte de recerca consisteix en l'aplicació de la tècnica d'aprenentatge per reforç profund al joc de plataformes "Super Mario Bros". Concretament, en el projecte es desenvolupa la implementació de l'algorisme Q-Learning, un dels algorismes més famosos dins de la tècnica de l'aprenentatge per reforç. A més de l'aprenentatge per reforç, a causa de la complexitat del problema, s'han introduït xarxes neuronals convolucionals, desenvolupant així el que es coneix com a aprenentatge per reforç profund (DQN) Amb l'ús d'aquest algorisme es pretén aconseguir que el personatge del videojoc sigui capaç de superar els nivells que se li plantegin sobre la base de l'experiència obtinguda al llarg de la seva exploració d'aquests nivells. Per a implementar aquest algorisme s'ha utilitzat el llenguatge de programació Python, que és el més potent per al desenvolupament de sistemes de intel·ligència artificial, amb les seves llibreries TensorFlow i Keras per a la implementació de les xarxes neuronals Al llarg de la memòria s'exposa tant l'anàlisi, disseny i implementació del sistema, com la presentació dels resultats obtinguts i la seva interpretació. Per a finalitzar el treball es descriu la sèrie de conclusions obtingudes juntament amb el plantejament del possible treball futur a manera d'ampliació i millora d'aquest.