Lección 8 del módulo “Redes Recurrentes y LSTM” del curso Fundamentos de Deep Learning con Python.
En la lección anterior logramos entrenar nuestra primera Red Recurrente, capaz de generar texto a nivel de caracteres.
Sin embargo, en dicha implementación vimos que el modelo entrenado comenzaba a repetir los caracteres ubicados al final de la secuencia, y mencionamos que la razón de esto es porque las Redes Recurrentes poseen algo que se conoce como “memoria de corto plazo”.
En esta lección entenderemos las razones de este comportamiento.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En el segundo módulo del curso, cuando hablamos de las Redes Neuronales, mencionamos que un problema común al momento de entrenarlas es lo que se conoce como los gradientes que explotan y que se desvanecen.
Pues resulta que en el caso de las Redes Recurrentes, el problema de los gradientes que desvanecen es aún más marcado: entre más extensa sea la secuencia procesada (o generada), más notorio será el desvanecimiento de los gradientes.
Esto implica que la Red Recurrente, tal como la hemos visto hasta ahora, no estará en capacidad de capturar la información muchos instantes de tiempo hacia atrás, y sólo podrá hacerlo para los elementos procesados más recientemente dentro de la secuencia.
Y una solución al problema que acabamos de describir son las Redes Recurrentes con memoria tanto de corto como de largo plazo, o redes LSTM por sus siglas en Inglés (Long short-term memory).
Así que en lo que resta de este módulo nos enfocaremos en esta arquitectura. En particular, en la próxima lección comenzaremos a hablar de estas Redes LSTM y de dos de sus componentes: las compuertas y la celda de memoria candidata.
Todas las lecciones del curso Fundamentos de Deep Learning con Python.