Lección 6 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos el funcionamiento de la Regresión Lineal Múltiple, que nos permite entrenar modelos para casos en los cuales el vector de entrada contiene múltiples características.
En esta lección nos enfocaremos en una variante del algoritmo del Gradiente Descendente convencional, que en la práctica es la que se usa para entrenar diferentes modelos de Deep Learning.
Esta variante es necesaria pues en la práctica usamos sets de datos gigantescos (con miles, cientos de miles o incluso millones de datos). En estos casos el algoritmo del Gradiente Descendente convencional no resulta adecuado pues requiere el procesamiento de la totalidad del set de datos en cada iteración, haciendo el proceso de entrenamiento más lento e imponiendo requisitos adicionales a las capacidades computacionales del equipo que se esté usando para dicho entrenamiento.
Hablemos entonces en detalle del Gradiente Descendente estocástico con “mini-batch”.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver el principio de funcionamiento del algoritmo del Gradiente Descendente con «mini-batch» que dividir el set de datos en pequeños lotes y presentarlos al modelo durante el entrenamiento logrando así reducir el costo computacional de este proceso.
Así que hasta este punto ya hemos visto en detalle varios conceptos relacionados con el proceso de entrenamiento y con los algoritmos de optimización involucrados en el aprendizaje de los parámetros del modelo.
Con estos conceptos ya estamos listos para la segunda práctica de este módulo del curso, en donde resolveremos un problema de Regresión Lineal en Keras, la librería que usaremos para implementar los diferentes modelos de Deep Learning que veremos a lo largo del curso.
Todas las lecciones del curso Fundamentos de Deep Learning con Python.