Aprendiendo de la memoria RAM de la NES

Abstract

En este proyecto se experimentó con algoritmos de aprendizaje por refuerzo jugando Donkey Kong, Ice Climber, Kung Fu, Super Mario Bros y Metroid de la consola NES. El algoritmo DQN y sus variantes como Doble DQN y Dueling DQN fueron usados para experimentar con la representación de estados mediante la RAM. Se proponen algunas estrategias para reducir la dimensionalidad de los estados y las acciones. También se proponen funciones de recompensa para crear un agente fácil de entrenar con pocos recursos computacionales. Se probaron dos maneras de reducir la dimensión de la RAM, el mapa de la RAM funcionó bien sólo en fase de entrenamiento mientras que el método de los bytes activados consiguió mejores resultados.

In this project, reinforcement learning algorithms are explored to play the games Donkey Kong, Ice Climber, Kung Fu, Super Mario Bros, and Metroid from the NES console. The Deep-Q learning algorithm is used to experiment with the RAM representation of the state. DQN algorithm extensions as Double DQN and Dueling Network Architectures are explored too. Some simple strategies to reduce the state-space and action-space are proposed in addition to reward functions to create an easy to train agent with low computational resources. Two ways to reduce the RAM representation of the state were tested, RAM map method worked well just in the training phase meanwhile the activated bytes method get better results also in gameplay.

En aquest projecte es va experimentar amb algorismes d'aprenentatge per reforç jugant Donkey Kong, Hissi Climber, Kung Fu, Super Mario Bros i Metroid de la consola NES. L'algorisme DQN i les seves variants com a Doble DQN i Dueling DQN van ser usats per a experimentar amb la representació d'estats mitjançant la RAM. Es proposen algunes estratègies per a reduir la dimensionalitat dels estats i les accions. També es proposen funcions de recompensa per a crear un agent fàcil d'entrenar amb pocs recursos computacionals. Es van provar dues maneres de reduir la dimensió de la RAM, el mapa de la RAM va funcionar bé només en fase d'entrenament mentre que el mètode dels bytes activats va aconseguir millors resultats.