Agente Sonic. Deep reinforcement learning

Abstract

El aprendizaje por refuerzo es una rama de la inteligencia artificial la cual estudia algoritmos capaces de hacer que los sistemas aprendan a realizar tareas automáticamente sin utilizar algoritmos tradicionales. Se basan en un sistema de recompensas donde las acciones correctas reciben una recompensa positiva. Dentro de estos algoritmos encontramos el Deep Q-Network que utiliza redes neuronales profundas para entornos complejos como son los videojuegos. La finalidad de este proyecto es la creación de un agente DQN que aprenda a superar diferentes niveles de un videojuego apoyándose en el reto propuesto por el equipo de OpenIA en 2018. En este reto se propone la creación de agentes capaces de superar niveles diferentes de los usados para entrenarlos. OpenIA nos proporciona, a partir de la librería Gym Retro, las herramientas necesarias para llevar a cabo dicho reto. Estas consisten entornos que disponen de observaciones, acciones y recompensas para superar diferentes niveles del juego Sonic the Hedgehog ¿. El agente desarrollado será finalmente capaz de tomar acciones que le permitan obtener un mayor avance horizontal dentro de cada nivel. Los entornos donde se evalúa al agente son diferentes de los entornos de entrenamiento con lo que de esta forma se comprueba en los resultados de la generalización realizada por el algoritmo de Deep Learning en un entorno desconocido.

Reinforcement learning is a branch of artificial intelligence that studies algorithms capable of making the systems learn to do tasks automatically without using traditional algorithms. They are based on an achievement system in which the right actions are positively rewarded. Within these algorithms, we can find Deep Q-Network, which uses profound neural networks for complex environments such as video games.The purpose of this project is the creation of a DQN agent that learns to overcome different levels of a video game based on the challenge proposed by the team OpenIA in 2018. In this challenge, the creation of agents able to overcome different levels than the ones used for training them is suggested. Using the Gym Retro library, OpenIA provides us with the tools needed to carry this challenge out. These tools consist of observations, actions, and rewards for completing levels of the game Sonic the Hedgehog¿. In the end, the agent developed will be able to take actions that allow it to obtain a larger horizontal movement within each level. The environments where we evaluate the agent are different from the training environment. This way, we check the results of the generalization made by the algorithm of Deep Learning in an unknown environment.

L'aprenentatge per reforç és una branca de la intel·ligència artificial la qual estudia algorismes capaços de fer que els sistemes aprenguin a fer tasques automàticament sense utilitzar algorismes tradicionals. Es basen en un sistema de recompenses on les accions correctes reben una recompensa positiva. Dins d'aquests algorismes trobem el Deep Q-Network que utilitza xarxes neuronals profundes per a entorns complexos com són els videojocs. La finalitat d'aquest projecte és la creació d'un agent DQN que aprengui a superar diferents nivells d'un videojoc secundant-se en el repte proposat per l'equip de OpenIA en 2018. En aquest repte es proposa la creació d'agents capaços de superar nivells diferents dels usats per a entrenar-los. OpenIA ens proporciona, a partir de la llibreria Gym Retro, les eines necessàries per a dur a terme aquest repte. Aquestes consisteixen entorns que disposen d'observacions, accions i recompenses per a superar diferents nivells del joc Sonic the Hedgehog ¿. L'agent desenvolupat serà finalment capaç de prendre accions que li permetin obtenir un major avanç horitzontal dins de cada nivell. Els entorns on s'avalua a l'agent són diferents dels entorns d'entrenament amb el que d'aquesta manera es comprova en els resultats de la generalització realitzada per l'algorisme de Deep Learning en un entorn desconegut.