2.20 – Técnicas de Regularización

Lección 20 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.

En la lección anterior vimos cómo crear, entrenar y validar una Red Neuronal en Keras usando los sets de entrenamiento, prueba y validación y los conceptos de underfitting y overfitting.

En ese caso usamos una técnica conocida como el Dropout para intentar reducir el overfitting en uno de los modelos entrenados.

Pues resulta que el Dropout hace parte de un grupo de técnicas, conocidas como técnicas de regularización, que resultan muy útiles en la afinación de diferentes modelos de Deep Learning y que permiten reducir el overfitting durante el proceso de entrenamiento y validación.

Veamos entonces en detalle las principales técnicas de regularización usadas en el Deep Learning.

Muy bien, acabamos de ver en qué consisten el decaimiento de pesos y el Dropout, dos de las técnicas de regularización más usadas para simplificar modelos de Deep Learning y reducir el overfitting.

El decaimiento de pesos fuerza a los coeficientes del modelo a mantener valores pequeños añadiendo un término de penalización a la función de error, mientras que el Dropout desactiva aleatoriamente un porcentaje de neuronas en cada iteración del entrenamiento, impidiendo que el modelo memorice los datos y mejorando su capacidad de generalización.

Ahora bien, hasta el momento hemos realizado el entrenamiento usando únicamente el algoritmo del gradiente descendente. Sin embargo, con el tiempo se han desarrollado variantes de este algoritmo que, en ciertas aplicaciones, pueden mejorar el proceso de entrenamiento de nuestros modelos de Deep Learning.

Así que en la próxima lección hablaremos de dos de estas variantes: el gradiente descendente estocástico y mini-batch-gradient-descent.

Todas las lecciones del curso Fundamentos de Deep Learning con Python