Lección 11 del curso Aprendizaje por Refuerzo Nivel Básico.
En la lección anterior vimos las acciones que puede ejecutar el agente en nuestro tablero bidimensional, pero no tuvimos en cuenta el componente estocástico de estas.
Así que en esta lección hablaremos en detalle de este componente y veremos entonces no sólo la función de transición sino además las recompensas asociadas a cada acción:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, en este caso del tablero bidimensional la tabla de transición presenta un desafío mayor debido un mayor número de estados (16) y de acciones (4), resultando en una tabla extensa con 152 filas.
Así que en el análisis que realizamos nos enfocamos únicamente en el estado inicial para observar el componente estocástico, en un estado terminal sin componente estocástico y en el estado que lleva a la meta, donde se obtiene una recompensa de +1.
Esta complejidad resulta además en un grafo también más complejo y que no resulta fácil de interpretar, pues tenemos muchos más estados y acciones con un componente estocástico y por tanto tendremos múltiples transiciones de estado. Así que para problemas más complejos no resulta muy útil el uso de este grafo.
Así que habiendo visto los detalles de la función de transición y la recompensa, en la próxima lección seguiremos profundizando en este ejemplo y en particular veremos un nuevo concepto conocido como el horizonte que guarda relación directa con la duración que puede tener la interacción del agente con el entorno.
Todas las lecciones del curso Aprendizaje por Refuerzo Nivel Básico