Lección 9 del módulo “Redes Recurrentes y LSTM” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos las limitaciones de las Redes Neuronales Recurrentes, que se resumen en esencia a que sólo poseen memoria de corto plazo.
Las Redes LSTM (por sus siglas en Inglés: Long short-term memory) logran resolver este problema usando una versión modificada de la Red Recurrente convencional.
En esta lección hablaremos específicamente de dos de estos componentes, las compuertas y las celdas de memoria, que permiten a la Red LSTM tener memoria tanto de corto como de largo plazo.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, en las Redes Recurrentes convencionales el etado oculto permite preservar la información a corto plazo.
Sin embargo, en una Red LSTM, además de contar con ese estado oculto, se usa una celda de memoria encargada de preservar la información a largo plazo.
Y para controlar el flujo de información y decidir qué elementos de la secuencia resultan relevantes y cuáles no al momento de procesarlos, se usa una serie de compuertas (de entrada, de «olvidar» y de salida) cada una de las cuales es una pequeña red neuronal.
Y este sistema de compuertas permite preservar la información relevante para el procesamiento de la secuencia por parte de la Red LSTM, tanto a largo como a corto plazo.
Así que para entender cómo se lleva a cabo esta interacción, en la próxima lección veremos cómo se lleva a cabo la actualización de la celda de memoria y del estado oculto en una Red LSTM.
Todas las lecciones del curso Fundamentos de Deep Learning con Python.