4 – Introducción a los algoritmos del Gradiente de la Política

Lección 4 de curso Aprendizaje por Refuerzo Nivel Avanzado.

En la lección anterior vimos en qué consiste la parametrización de la Política, que es una manera de representar matemáticamente una política en términos de un parámetro (𝜃) y que es un paso que, como veremos en las próximas lecciones, es el punto de partida para poder desarrollar toda la teoría de los algoritmos del Gradiente de la Política.

En este segundo módulo del curso veremos entonces todos los elementos teóricos y prácticos que nos permitirán entender el funcionamiento y hacer uso de estos algoritmos del Gradiente de la Política.

Específicamente, en esta y en la próxima lección desarrollaremos todo el componente matemático que da fundamento a estos algoritmos. Y en particular en esta lección lo que haremos será formular matemáticamente el problema del Gradiente de la Política.

Así que plantearemos el objetivo de este método y conectaremos dicho objetivo con el algoritmo del ascenso del gradiente, y en la próxima lección haremos todo el desarrollo matemático que nos permitirá resolver este problema:

Muy bien, como acabamos de ver el objetivo de los algoritmos del Gradiente de la Política consiste en encontrar los valores de 𝜃 tales que la política parametrizada maximice el retorno esperado.

Y vimos cómo formular matemáticamente este objetivo, que en últimas equivale a hacer uso del algoritmo del ascenso del gradiente para actualizar automáticamente estos parámetros siguiendo precisamente el gradiente de dicho retorno esperado.

Así que en la próxima lección veremos todos los detalles de la formulación matemática del Gradiente de la Política, lo cual equivale a encontrar precisamente una expresión matemática para el cálculo del gradiente del retorno esperado.

Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Avanzado