Lección 25 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
En la lección anterior hablamos del algoritmo de optimización Adam, que junto con los algoritmos de gradiente descendente estocástico y mini-batch, gradiente descendente con momentum, RMSPROP y las técnicas de regularización vistas anteriormente, completan los elementos fundamentales sobre los cuales se construye buena parte de la teoría del Deep Learning.
En esta lección veremos algunas sugerencias adicionales que resultan muy útiles al momento de implementar y entrenar diferentes tipos de Redes Neuronales.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver dos fenómenos que en ocasiones podremos encontrar al momento de entrenar diferentes tipos de arquitecturas de Deep Learning: los gradientes que se desvanecen y los gradientes que explotan.
Estos problemas afectan el entrenamiento, pero pueden mitigarse haciendo uso por ejemplo de diferentes funciones de activación o usando técnicas de regularización, de gradient clipping y de batch normalization. Además, escalar los datos de entrada mediante normalización o estandarización ayuda a mantener la consistencia en el entrenamiento.
Así que con todos estos elementos que hemos visto ¡ya estamos listos para desarrollar el proyecto final de este segundo módulo del curso!
Entonces, en la próxima lección veremos en detalle este proyecto, en donde implementaremos un modelo de predicción de riesgo de diabetes usando Redes Neuronales.
Todas las lecciones del curso Fundamentos de Deep Learning con Python