Lección 6 del curso LightGBM.
En la lección anterior vimos en qué consiste el agrupamiento de características exclusivas en LightGBM, una estrategia que permite combinar múltiples variables mutuamente excluyentes en una sola columna del dataset, reduciendo así los tiempos de cómputo al momento de entrenar el modelo.
En esta lección veremos la última estrategia usada por LightGBM para reducir el número de operaciones requeridas para entrenar el modelo: la búsqueda de particiones categóricas:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En el caso de esta búsqueda de particiones categóricas lo que hace LightGBM es evaluar únicamente aquellas particiones más relevantes dentro de una variable categórica. Y para ello agrupa dicha variable por subniveles; luego, por cada subnivel, calcula una estadística asociada a sus gradientes (o errores) y posteriormente evalúa sólo un número reducido de particiones con base en dichos promedios de gradientes.
Y con esta estrategia se logra reducir el número efectivo de particiones evaluadas al momento de analizar una variable categórica, lo que resulta clave en situaciones donde dicha variable tiene un número elevado de sub-niveles.
Así que hasta este punto ya hemos visto las principales estrategias usadas por LightGBM para reducir de manera efectiva el número de operaciones requeridas para entrenar el modelo:
- El crecimiento de árboles por hojas (lección 2)
- La generación de particiones basadas en histogramas (lección 3)
- El muestreo unilateral basado en gradientes (o GOSS) (lección 4)
- El agrupamiento de características exclusivas (o EFB) (lección anterior)
- Y, el tema de esta lección, la búsqueda de particiones categóricas
Entonces, en la próxima lección veremos cómo todos estos elementos se unen al algoritmo de entrenamiento que vimos en el caso de XGBoost para de esta forma conformar el algoritmo completo para entrenar un modelo usando LightGBM.
Todas las lecciones del curso LightGBM