Lección 8 del curso XGBoost.
En la lección anterior vimos un ejemplo práctico de implementación de un modelo de regresión en XGBoost. Y con esto, junto con lo visto en la lección 6 (donde vimos un ejemplo práctico de clasificación en XGBoost), ya hemos aprendido a usar la librería XGBoost de Python para resolver tareas de clasificación y regresión.
Recordemos que, como lo vimos en la primera parte de este curso, XGBoost es un conjunto de modelos que tiene un elevado número de hiper-parámetros que nos brindan una amplia cantidad de opciones para reducir su «overfitting» y a la vez mejorar su desempeño.
Así que en esta lección veremos cómo realizar el ajuste o afinación de hiper-parámetros de un modelo XGBoost tanto de clasificación como de regresión.
Comencemos viendo cómo realizar el ajuste de hiper-parámetros del modelo de clasificación implementado en la lección 6:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En esencia, la lógica de afinación de hiper-parámetros es la misma que usamos al momento de afinar cualquier modelo de Machine Learning: primero definimos un modelo base y su desempeño; luego creamos una grilla de hiper-parámetros y creamos, entrenamos y validamos un modelo con cada una de las posibles combinaciones de hiper-parámetros y al final el modelo afinado será aquel que tenga precisamente el mejor desempeño.
Sin embargo, para evitar elevados tiempos de procesamiento durante la afinación, dado el elevado número de hiper-parámetros que posee un modelo XGBoost, se sugiere afinar únicamente aquellos hiper-parámetros que usualmente serán los que tendrán el mayor impacto en el desempeño del modelo.
Así que veamos cómo usar este principio de afinación que acabamos de ver pero ahora para el caso de la regresión:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver en este ejemplo en particular, la afinación de hiper-parámetros no necesariamente implica una mejora significativa en el desempeño del modelo.
Esto se debe en parte a la misma robustez de los modelos XGBoost, pero también a que dicho ajuste de hiper-parámetros dependerá de las características propias del set de datos usado así como de la grilla que definamos durante la afinación.
Así que en este punto lo único que nos resta para culminar este curso es entender cómo realizar el análisis de importancia de características de un modelo XGBoost, que será precisamente el tema de la próxima lección.
Todas las lecciones del curso XGBoost