Lección 4 del curso PyTorch Nivel Avanzado.
En la lección anterior vimos cómo implementar la técnica del «early-stopping» (o parada temprana) en PyTorch, una primera estrategia para la regularización de modelos de Deep Learning.
En esta lección veremos cómo implementar el «Dropout» en PyTorch, otra estrategia muy usada al momento de regularizar un modelo de Deep Learning y que, por tanto, nos permite reducir el posible sobre-ajuste que pueda llegar a tener el modelo que estemos entrenando.
En esencia, lo que hace el «Dropout» es «congelar» aleatoriamente una parte de los parámetros del modelo durante el entrenamiento, lo cual permite precisamente reducir el sobre-ajuste.
Así que veamos en detalle en qué consiste esta técnica del «Dropout» y cómo implementarla en PyTorch:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, la implementación del «Dropout» en PyTorch es realmente muy sencilla: simplemente debemos agregar capas tipo «dropout» (importadas del módulo «nn» de PyTorch) en diferentes puntos de la arquitectura del modelo, y definiendo en cada caso el porcentaje de «Dropout» deseado (un valor entre 0 y 1 y que se convertirá en un hiper-parámetro de nuestro modelo).
Y con esto, tal como lo vimos en el ejemplo de esta lección, es posible reducir el «overfitting» del modelo entrenado, mejorando así su capacidad de generalización.
Así que con esto ya estamos listos para abordar la última lección del curso, en donde veremos una última estrategia para controlar el proceso de entrenamiento. Así que veremos cómo realizar el ajuste programado de la tasa de aprendizaje en PyTorch.
Todas las lecciones del curso PyTorch Nivel Avanzado