5 – Introducción a los Procesos de Decisión de Markov

Lección 5 del curso Aprendizaje por Refuerzo Nivel Básico.

Con los componentes básicos de un sistema de Aprendizaje por Refuerzo vistos en la lección anterior, podemos ahora sí comenzar a formalizar matemáticamente un problema de Aprendizaje por Refuerzo.

Así que en esta lección veremos la notación matemática que usaremos de aquí en adelante y la definición de lo que son los Procesos de Decisión de Markov, que es precisamente el lenguaje matemático que se usa para formular diferentes problemas de Aprendizaje por Refuerzo:

Como acabamos de ver, el Aprendizaje por Refuerzo se centra en entrenar a un Agente para que tome decisiones secuenciales óptimas.

Por ejemplo, en un juego de ajedrez, el agente debe planificar cada jugada considerando tanto las recompensas inmediatas como las de largo plazo. Así que la interacción entre el agente y el entorno se modela matemáticamente con estados, acciones y recompensas.

Adicionalmente tendremos la función de transición describe la probabilidad de transición entre estados dada una acción.

Y como elemento central de todos elementos se encuentran los Procesos de Decisión de Markov que encapsulan estos elementos fundamentales del Aprendizaje por Refuerzo.

Así que acabamos de ver que un Proceso de Decisión de Markov es básicamente una forma de representar matemáticamente todos los componentes relevantes de nuestro problema de aprendizaje por refuerzo.

Entonces, en lo que resta de este módulo del curso veremos en detalle cómo construir paso a paso un Proceso de Decisión de Markov para diferentes tipos de problemas. Así que en la siguiente lección comenzaremos con un primer ejemplo sencillo, considerando un pequeño juego con un tablero unidimensional, en donde un agente se desplazará por un tablero súper simplificado.

Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Básico