Evaluación de rendimiento de arquitecturas paralelas y de propósito específico para el aprendizaje por refuerzo en juegos
Performance evaluation of parallel and specific-purpose architectures for reinforcement learning in games

Impacto

Downloads

Downloads per month over past year



Guzmán Muñoz, Javier (2021) Evaluación de rendimiento de arquitecturas paralelas y de propósito específico para el aprendizaje por refuerzo en juegos. [Trabajo Fin de Grado]

[thumbnail of GUZMÁN MUÑOZ 75356_JAVIER_GUZMAN_MUNOZ_TFG_Javier_Guzman_Munoz_784051_1951236361.pdf]
Preview
PDF
Creative Commons Attribution Non-commercial.

4MB


Abstract

Las aplicaciones de aprendizaje por refuerzo se usan en la actualidad para resolver problemas de todo tipo en campos muy diversos. Sin embargo, una de las principales desventajas que presentan es el elevado coste computacional del entrenamiento de los modelos necesarios. Con este trabajo de fin de grado se pretende mejorar este proceso mediante la paralelización de los algoritmos empleados y el uso de distintas arquitecturas hardware que variarán los tiempos requeridos. Los modelos entrenados pueden aplicarse para obtener la mejor secuencia de acciones que podemos realizar sobre un entorno y mejorar la recompensa obtenida. Este proceso, que se denomina inferencia, aunque tiene menor complejidad computacional, se realiza muchas más veces, por lo que se han desarrollado procesadores de propósito específico para llevar a cabo esta tarea. Por ello, también es conveniente evaluar su rendimiento en estos soportes y compararlos con otras unidades de procesamiento más generales. Tras definir el escenario en el que nos vamos a mover y los recursos necesarios para ello, se proponen una serie de experimentos de los procesos de entrenamiento e inferencia que nos permitirán evaluar el rendimiento en términos del tiempo empleado, de la utilización de los recursos disponibles y del consumo de energía de distintas arquitecturas hardware, viendo cuál es más conveniente usar en cada caso

Resumen (otros idiomas)

Nowadays, reinforcement learning applications are used to solve all kinds of problems in a wide variety of fields. However, one of their main disadvantages is the high computational cost of training the necessary models. This Bachelor’s thesis aims at improving this process by parallelizing the involved algorithms and by using different hardware architectures, which will differ in the amount of time used. We can run previously trained models to obtain the best sequence of actions to interact with the environment in order to improve the reward obtained. Although this process, called inference, has a lower computational complexity, it is usually repeated many times and requires a fast response. In order to execute inference in an efficient way, specific-purpose processors have been developed, so it is convenient to evaluate its performance on these devices and compare them with more general processing units. After defining the scenario and the resources needed, we propose a series of experiments to test the training and inference processes, evaluating the performance in terms of the time spent, the resource usage and the power consumption when using different architectures, analyzing which is the best option in each case.

Item Type:Trabajo Fin de Grado
Additional Information:

Trabajo de Fin de Grado en Doble Grado en Ingeniería Informática - Matemáticas, Facultad de Informática UCM, Departamento de Arquitectura de Computadores y Automática, Curso 2020-21

Directors:
Directors
Igual Peña, Francisco
Costero Valero, Luis Mª
Uncontrolled Keywords:Aprendizaje por refuerzo, Algoritmo PPO, Red neuronal de convolución, Ray RLlib, Entornos Gym, TPU Google Coral, Aceleradores hardware.
Palabras clave (otros idiomas):Reinforcement learning, PPO algorithm, Convolutional neural network, Ray RLlib, Gym environments, Google Coral TPU, Hardware accelerators.
Subjects:Sciences > Computer science
Título de Grado:Doble Grado en Ingeniería Informática y Matemáticas
ID Code:66831
Deposited On:13 Jul 2021 17:26
Last Modified:13 Jul 2021 17:35

Origin of downloads

Repository Staff Only: item control page