Lección 23 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En la lección anterior hablamos del algoritmo del Gradiente Descendente con Momentum, y vimos cómo el uso de la media móvil permite acelerar el proceso de entrenamiento.
En esta lección veremos cómo el uso de un paso variable en el algoritmo de RMSPROP resulta también siendo una alternativa para agilizar el entrenamiento en comparación con el algoritmo clásico del Gradiente Descendente.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Acabamos de ver que el Gradiente Descendente con Momentum presenta la limitación de usar un tamaño de paso constante, lo que puede causar oscilaciones alrededor del mínimo local y dificultar alcanzar un valor óptimo.
Por otra parte, el algoritmo RMSPROP aborda este problema utilizando un tamaño de paso variable que cambia en cada iteración, mejorando así la eficiencia del entrenamiento.
En la siguiente lección veremos entonces cómo combinar lo visto acerca del Gradiente Descendente con Momentum con este algoritmo de RMSPROP para tomar lo mejor de los dos métodos y lograr tener un algoritmo que permita realizar un mejor entrenamiento de las Redes Neuronales.
Así que en la próxima lección hablaremos del Algoritmo de Optimización Adam.
Todas las lecciones del curso Fundamentos de Deep Learning con Python