Lección 2 del curso Aprendizaje por Refuerzo Nivel Avanzado.
En la lección anterior vimos una introducción al curso y en particular vimos dos maneras de sub-dividir los algoritmos de Aprendizaje por Refuerzo clásico: los algoritmos basados en valores y los algoritmos basados en políticas (siendo estos últimos el tema central de este curso).
En esta lección y en la próxima veremos dos conceptos que resultarán esenciales para posteriormente (en el segundo módulo de este curso) comprender la teoría sobre la cual se construyen los algoritmos del Gradiente de la Política.
Y específicamente en esta lección abordaremos el primer elemento esencial: el algoritmo del gradiente ascendente, un algoritmo de optimización que nos permitirá de forma iterativa maximizar una función determinada.
Más adelante en este curso veremos cómo usar precisamente este algoritmo para optimizar la política del Agente, es decir para ajustar automáticamente los parámetros de la Política con el fin de obtener el máximo retorno posible. Así que veamos en detalle en qué consiste este algoritmo del gradiente ascendente (o de ascenso del gradiente):
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Muy bien, acabamos de ver lo sencillo que resulta este algoritmo del ascenso el gradiente. Este gradiente es el mismo concepto de la derivada que vimos en detalle precisamente en el curso de Cálculo para Ciencia de Datos y Machine Learning.
En esencia, lo que hace este algoritmo es progresivamente, de forma iterativa, seguir los valores del gradiente de la función a optimizar hasta llegar prácticamente a su valor máximo. Y como vamos ascendiendo progresivamente por los valores de la función usando como guía el gradiente, de allí el término que da el nombre al algoritmo: «ascenso del gradiente» (o gradiente ascendente).
Así que en este punto ya tenemos el primer concepto esencial que retomaremos más adelante cuando veamos en detalle en qué consiste el Gradiente de la Política. Entonces, en la siguiente lección exploraremos el segundo concepto clave, hablaremos de la parametrización de la Política.
Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Avanzado