Lección 22 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En la lección anterior hablamos del gradiente descendente estocástico y del mini-batch gradient descent, como alternativas al algoritmo clásico del Gradiente Descendente.
En esta lección veremos una segunda variante del algoritmo convencional, conocida como el Gradiente Descendente con Momentum, y que permite acelerar el proceso de entrenamiento.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver cómo los algoritmos del Gradiente Descendente Estocástico y el mini-batch pueden generar variaciones abruptas en la curva de entrenamiento, lo cual puede ralentizar el proceso de entrenamiento.
Por otra parte, el Gradiente Descendente con Momentum aborda este problema promediando las variaciones del gradiente a lo largo de iteraciones, logrando así suavizar la trayectoria del algoritmo y por tanto acelerando el entrenamiento.
Teniendo claro este principio de funcionamiento, en la próxima lección hablaremos del algoritmo RMSPROP, otra variante del algoritmo clásico del Gradiente Descendente visto inicialmente.
Todas las lecciones del curso Fundamentos de Deep Learning con Python