Lección 24 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En las dos lecciones anteriores vimos cómo los algoritmos del Gradiente Descendente con Momentum y RMSPROP buscan acelerar el proceso de entrenamiento de una Red Neuronal.
En esta lección veremos cómo combinar lo mejor de estos dos métodos en el algoritmo de optimización Adam, para lograr acelerar aún más dicho proceso de entrenamiento.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver que el Gradiente Descendente con momentum reduce las oscilaciones usando una media móvil de los gradientes, mientras que RMSPROP ajusta el tamaño del paso según la magnitud del gradiente en cada iteración para mejorar la eficiencia del entrenamiento.
Por su parte, el algoritmo Adam combina ambas ventajas, incorporando un término de momentum y un tamaño de paso variable en su actualización de coeficientes, logrando en general un mejor desempeño que el Gradiente Descendente convencional, el Momentum y RMSPROP.
Así que con lo visto en estas tres últimas lecciones ya hemos aprendido varias herramientas que resultan esenciales en la implementación y entrenamiento de Redes Neuronales.
Antes de entrar al proyecto final del curso, en la próxima lección hablaremos entonces de varios aspectos prácticos para la implementación de Redes Neuronales, que resultarán útiles al momento de aplicar todos estos conceptos para la solución de problemas reales.
Todas las lecciones del curso Fundamentos de Deep Learning con Python