Aprendizaje por refuerzo en StarCraft II
Reinforcement Learning for StarCraft II

Impacto

Downloads

Downloads per month over past year



Leis Baltanas, Miriam and Rodríguez Hidalgo, Pablo Joaquín (2021) Aprendizaje por refuerzo en StarCraft II. [Trabajo Fin de Grado]

[thumbnail of RODRIGUEZ_HIDALGO_Convocatoria_Junio_TFG_784051_651459496.pdf]
Preview
PDF
Creative Commons Attribution Non-commercial.

11MB


Abstract

En este Trabajo Fin de Grado se estudian distintas técnicas de aprendizaje por refuerzo, una rama del aprendizaje automatico que ha demostrado en los últimos años ser una de las opciones mas populares dentro de este ámbito. DeepMind ha aplicado algoritmos de aprendizaje por refuerzo en distintos videojuegos, poniendo de relieve la utilidad de estas aplicaciones para contribuir al avance de la investigación en el campo del aprendizaje automático. En este marco, la finalidad de este trabajo es la aplicación de técnicas de aprendizaje por refuerzo en distintos entornos del videojuego StarCraft II.
Las características de este videojuego, en concreto el hecho de que incluye tomas de decisiones a distintos niveles con información parcial del estado del entorno, suponen grandes ventajas a la hora de aplicar técnicas de aprendizaje automático respecto a otros videojuegos.
Tras profundizar en el estudio de los algoritmos de aprendizaje por refuerzo QLearning y Deep Q-Learning con objeto de entender su funcionamiento correctamente,
ambos algoritmos se han implementado en minijuegos de StarCraft II. Esta aplicación ha consistido en el desarrollo de jugadores automáticos que aprenden varios objetivos enfocados a la toma de decisiones a distintos niveles en videojuegos RTS. Para ello,se ha realizado un estudio sobre las estrategias habituales en estos videojuegos y se ha implementado una arquitectura reutilizable que permite intercambiar los distintos
agentes y entornos de manera sencilla. Finalmente, se analizan los resultados obtenidos en los diferentes experimentos realizados y se presentan las conclusiones extraídas a partir de dichos resultados.

Resumen (otros idiomas)

In this Bachelor’s Degree Final Proyect, different reinforcement learning techniques are studied, a branch of machine learning that has proven in recent years to be one of the most popular options in this field. DeepMind has applied reinforcement learning algorithms in different videogames, highlighting the usefulness of these applications to contribute to the advancement of research in the field of machine learning. In this framework, the purpose of this work is the application of reinforcement learning techniques in different environments of the StarCraft II videogame. The characteristics of this video game, specifically the fact that it includes decision-making at different levels with partial information about the state of the environment, represent great advantages when applying machine learning techniques compared to other videogames. After delving into the study of Q-Learning and Deep Q-Learning reinforcement learning algorithms in order to correctly understand how they work, both algorithms have been implemented in StarCraft II minigames. This application has consisted of the development of automatic players that learn various objectives focused on decision-making at different levels in RTS video games. To do this, a study has been carried out on the usual strategies in these video games and a reusable architecture has been implemented that allows the different agents and environments to be exchanged easily. Finally, the results obtained in the different experiments carried out are analyzed and the conclusions drawn from these results are presented.

Item Type:Trabajo Fin de Grado
Additional Information:

Trabajo Fin de Grado en Desarrollo de Videojuegos, Facultad de Informática UCM, Departamento de Ingeniería del Software e Inteligencia Artificial, Curso 2020/2021

Directors:
Directors
Gomez Martín, Pedro Pablo
Sánchez Ruiz-Granados, Antonio Alejandro
Uncontrolled Keywords:Aprendizaje por refuerzo, Deep Q-Learning, Q-Learning, Aprendizaje automático, Jugador automatico, PySC2, Starcraft II
Palabras clave (otros idiomas):Reinforcement learning, Q-Learning, Deep Q-Learning, Machine learning, Automatic player, PySC2, Starcraft II
Subjects:Sciences > Computer science
Título de Grado:Grado en Desarrollo de Videojuegos
ID Code:67183
Deposited On:26 Jul 2021 12:15
Last Modified:26 Jul 2021 12:15

Origin of downloads

Repository Staff Only: item control page