Lección 5 del curso Aprendizaje por Refuerzo Nivel Intermedio.
En esta lección veremos cómo combinar los algoritmos de evaluación de la Política y mejora de la Política, vistos en las lecciones anteriores, en un algoritmo que nos permitirá obtener una Política óptima para el Agente, y que se conoce precisamente como el algoritmo de iteración de la Política:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En esencia la iteración de la Política es un algoritmo de Programación Dinámica que mejora progresivamente una política hasta hacerla óptima, para lo cual combina los algoritmos de evaluación y mejora de la Política de manera iterativa.
Así, el algoritmo de iteración de la Política comienza con una política arbitraria y todos los elementos del Proceso de Decisión de Markov, y en cada iteración evalúa y mejora la política hasta que no haya más cambios significativos entre iteraciones consecutivas. En este punto las iteraciones se detienen y decimos que la política converge, lo que arroja como resultado final una política óptima.
Es importante tener en cuenta que aunque pueden existir múltiples políticas óptimas, todas producirán la misma función estado-valor óptima.
Así que ya tenemos nuestro primer algoritmo para el entrenamiento del Agente que nos permite encontrar una Política óptima para su interacción con el entorno.
En la siguiente lección veremos entonces el algoritmo de iteración de valores, que nos ofrece una forma alternativa de llegar a una Política óptima para el Agente.
Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Intermedio