Lección 14 del curso Aprendizaje por Refuerzo Nivel Intermedio.
Habiendo entendido el algoritmo de predicción con Diferencia Temporal visto en la lección anterior, junto con los algoritmos de control con Monte Carlo, veremos que resulta muy sencillo entender el algoritmo de control SARSA que veremos en detalle en esta lección:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
De forma similar a como ocurría en el control con Monte Carlo, el objetivo de los algoritmos de control con Diferencia Temporal es obtener una política óptima a partir de una política arbitraria.
Y en este caso también existen dos tipos de control: «on-policy» (como el algoritmo SARSA) y «off-policy» (como el algoritmo Q-learning que veremos en la próxima lección). Ambos enfoques balancean explotación y exploración.
Y específicamente en SARSA se inicializa la función acción-valor, se generan episodios usando la Política, luego se eligen acciones usando un enfoque ϵ-greedy (que balancea explotación y exploración), posteriormente se actualiza la función acción-valor y el procedimiento se repite hasta alcanzar estados terminales.
Y en todo este procedimiento es importante resaltar que SARSA es un algoritmo “on-policy”, pues las acciones seleccionadas en cada iteración se toman de acuerdo con la misma política que se está mejorando.
En la próxima lección veremos una alternativa a este algoritmo, que consiste en obtener la política óptima pero usando un enfoque “off-policy”. Así que hablaremos en detalle del algoritmo Q-learning, el control “off-policy” con diferencia temporal.
Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Intermedio