Lección 2 del curso XGBoost.
En la lección anterior vimos una introducción al Gradient Boosting y a XGBoost y allí vimos que se trata de algoritmos y modelos de Machine Learning que usan el principio de ensamble de modelos débiles al momento de generar predicciones.
En esta segunda lección veremos en detalle cómo funciona el algoritmo y el modelo del Gradient Boosting (o potenciación del gradiente) para una tarea de regresión.
Comencemos viendo un ejemplo numérico que nos permitirá entender la lógica de funcionamiento del algoritmo de entrenamiento de un modelo de Gradient Boosting:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, la idea básica de este algoritmo de potenciación del gradiente, para el caso de la regresión, consiste en tomar un modelo base y progresivamente mejorar sus predicciones, para lo cual se entrenan de forma secuencial pequeños árboles de regresión que intentan corregir los errores en las predicciones. Y al combinar todos estos múltiples árboles en un modelo de ensamble (el modelo «Gradient Boosting») tendremos un modelo capaz de generar muy buenas predicciones.
Teniendo claro este principio de funcionamiento, veamos ahora todo el componente matemático que está detrás de estos modelos Gradient Boosting para regresión:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Al analizar este componente matemático podemos ver que el algoritmo de entrenamiento del Gradient Boosting busca minimizar la pérdida (que en el caso de la regresión es, generalmente, el error cuadrático medio) a través de la reducción progresiva del gradiente (y de allí el nombre «potenciación del gradiente»).
Este componente matemático resultará clave más adelante cuando abordemos los detalles de los modelos XGBoost para regresión y clasificación.
Así que con esto ya tenemos claros todos los elementos asociados a estos modelos de Gradient Boosting para la regresión. Entonces, en la próxima lección usaremos un enfoque similar para entender cómo abordar una tarea de clasificación con Gradient Boosting.
Todas las lecciones del curso XGBoost