2 – Entrenamiento de un árbol de clasificación con el algoritmo CART

Lección 2 del curso Árboles de Decisión.

En la lección anterior vimos el principio de funcionamiento de un árbol de clasificación, que es un primer conjunto de árboles de decisión que, como su nombre lo indica, nos permite realizar tareas de clasificación en el Machine Learning.

En esta lección veremos todos los detalles de uno de los algoritmos más usados al momento de entrenar un árbol de clasificación: el algoritmo CART (de las siglas en Inglés Classification and Regression Trees).

Comencemos entonces viendo un sencillo ejemplo que nos permitirá entender la lógica de funcionamiento de este algoritmo CART al momento de construir un árbol de clasificación:

En esencia lo que hace el algoritmo CART es subdividir recursivamente (es decir una y otra vez) el espacio de características con el fin de generar pequeñas agrupaciones de datos lo más homogéneas posible. Y este proceso se repite hasta alcanzar un criterio de parada (del cual hablaremos en unos momentos).

Sin embargo, en el sencillo ejemplo que acabamos de ver no resulta claro cómo es que el algoritmo elige cuál de todos los posibles umbrales es el más adecuado en cada una de las iteraciones.

Para poder entender cómo se lleva a cabo esta elección del mejor umbral es necesario conocer en detalle la forma como el algoritmo CART cuantifica la calidad de cada una de las particiones generadas por los umbrales. Esta es la parte clave del algoritmo y la veremos en detalle a continuación:

En esencia el procedimiento realizado por el algoritmo CART para cuantificar la calidad de las particiones consiste en:

• Generar una partición con un umbral determinado
• Cuantificar la homogeneidad de cada una de las dos agrupaciones obtenidas usando una de dos posibles métricas: el índice Gini o la entropía (que en la práctica resultan equivalentes)
• Cuantificar la calidad del umbral tomando como base la cantidad total de datos, la cantidad de datos en cada agrupación y los índices (de Gini o la entropía) de cada agrupación calculados anteriormente

Y con esto se logra que cada umbral tenga un puntaje asociado. Y la idea es que entre más cercano a cero sea dicho puntaje, mejor será la separación que logra hacer de los datos.

Así que en este punto ya tenemos todos los elementos esenciales del algoritmo CART y tan sólo nos resta combinar todos los elementos vistos hasta el momento para resumir el procedimiento paso a paso que conlleva la implementación de este algoritmo:

¡Perfecto! Y en este punto ya hemos combinado todos los detalles vistos a lo largo de esta lección en un algoritmo (el algoritmo CART) que permite realizar el entrenamiento de un árbol de clasificación.

Y en este punto es importante resaltar que el algoritmo es totalmente automático (es decir que no requiere nuestra intervención para construir el árbol) y que está en capacidad de recibir a la entrada variables (o características) tanto numéricas como categóricas (o una combinación de ambas).

Ahora, teniendo claro cómo llevar a cabo el entrenamiento de un árbol de clasificación haciendo uso del algoritmo CART, lo que nos interesa ahora es hacer uso de éste árbol para generar predicciones.

Es decir que la idea ahora es presentarle datos nuevos al árbol entrenado y que este genere predicciones (es decir que clasifique el dato de entrada). Así que en la próxima lección veremos precisamente cómo generar predicciones con un árbol de clasificación.

Todas las lecciones del curso Árboles de Decisión