2.17 – Los sets de entrenamiento, prueba y validación

Lección 17 del módulo “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.

En la práctica anterior vimos cómo crear y entrenar una Red Neuronal para la detección de partículas usando Python y la librería Keras.

Sin embargo quedaron varias preguntas por responder, pues la idea es que el modelo entrenado funcione adecuadamente no sólo con los datos usados durante el entrenamiento sino, más importante aún, con datos totalmente nuevos, que no haya visto previamente.

Así que en esta lección hablaremos de un aspecto práctico en la implementación de modelos de Deep Learning que es la forma como debemos subdividir nuestro set de datos al momento del entrenamiento y de la validación.

Muy bien, acabamos de ver que la afinación de una Red Neuronal consiste en encontrar la mejor combinación de hiperparámetros que genere el mejor desempeño posible.

Y la elección de estos hiperparámetros usa en últimas un enfoque de prueba y error, ya que no existe un método analítico definitivo. Y para poder validar el modelo debemos dividir el set de datos en tres sub-sets: entrenamiento, prueba y validación. El set de entrenamiento ajusta los parámetros, el de prueba verifica el desempeño con datos nuevos y permite afinar los hiperparámetros, mientras que el set de validación determina la capacidad de generalización del modelo.

Así que con esto ya tenemos claro cómo subdividir nuestro set de datos para lograr entrenar y validar adecuadamente nuestros diferentes modelos.

Sin embargo, aún no hemos discutido en detalle cómo usar estos sub-sets para cuantificar el desempeño de cada modelo y elegir el más adecuado para el problema que estemos resolviendo.

Entonces, en la próxima lección hablaremos de los conceptos de underfitting y overfitting, que nos permitirán entender cómo determinar si el desempeño del modelo escogido resulta siendo o no el más adecuado.

Todas las lecciones del curso Fundamentos de Deep Learning con Python