18 – Las ecuaciones de Bellman

Lección 18 del curso Aprendizaje por Refuerzo Nivel Básico.

En las lecciones anteriores hablamos del significado de las funciones estado-valor y acción-valor y vimos sus correspondientes definiciones matemáticas.

En esta última lección del curso hablaremos de las ecuaciones de Bellman, que esencialmente son una forma alternativa de representar matemáticamente estas funciones y que servirán como punto de partida para los algoritmos clásicos de Aprendizaje por Refuerzo que veremos en el próximo curso:

Como acabamos de ver, las ecuaciones de Bellman son cruciales para calcular explícitamente los valores asociados a las funciones estado-valor y acción-valor en el contexto de Aprendizaje por Refuerzo.

Estas ecuaciones expresan la relación entre el valor de un estado actual y los valores de los estados sucesores, integrando todos los elementos del Proceso de Decisión de Markov: estados, acciones, recompensas y el factor de descuento.

Y estas ecuaciones de Bellman resultan fundamentales para resolver un problema de Aprendizaje por Refuerzo, porque como veremos en el próximo curso de Aprendizaje por Refuerzo Nivel Intermedio los algoritmos clásicos que se usan para entrenar el Agente buscan calcular el valor de un estado o de una acción partiendo precisamente de las expresiones que acabamos de ver para estas Ecuaciones de Bellman.

Así que con esto ya hemos llegado al final de este curso, ¡te felicito por haber llegado hasta este punto! y te invito a ver el video de cierre donde haremos un resumen de todo lo aprendido en este curso:

Y como siempre te invito a contactarme para que me compartas tu retroalimentación del curso y tus sugerencias para seguir mejorando el contenido de la Academia Online.

¡Te envío un saludo y te invito a continuar en esta serie con el curso Aprendizaje por Refuerzo Nivel Intermedio!