Lección 21 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En la lección anterior hablamos de las principales técnicas de regularización usadas en el Deep Learning: el decaimiento de pesos y el Dropout.
En esta lección seguiremos profundizando en las diferentes técnicas muy útiles en el entrenamiento de las Redes Neuronales. En particular nos enfocaremos en dos variantes del algoritmo del gradiente descendente visto anteriormente: el algoritmo del gradiente descendente estocástico y el mini-batch gradient descent.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver algunas limitaciones del algoritmo del Gradiente Descendente convencional, como el hecho de usar todos los ejemplos de entrenamiento en cada iteración, lo que puede ser ineficiente en términos de tiempo y memoria.
Por otra parte, el Gradiente Descendente Estocástico, que utiliza un solo ejemplo aleatorio por iteración, es más rápido y menos exigente en memoria, pero puede quedar atrapado en mínimos locales.
El Gradiente Descendente con mini-batch ofrece un equilibrio, procesando bloques de datos en cada iteración. Este método mejora la velocidad y eficiencia del entrenamiento, disminuyendo la probabilidad de estancamiento en mínimos locales y reduciendo los requisitos de recursos en comparación con el Gradiente Descendente convencional.
Y con esto ya tenemos claro el principio de funcionamiento de estas dos primeras variantes del algoritmo del Gradiente Descendente convencional.
En la próxima lección veremos en detalle otra de estas variantes: el algoritmo del Gradiente Descendente con momentum, también muy usada al momento de entrenar modelos de Deep Learning.
Todas las lecciones del curso Fundamentos de Deep Learning con Python.