Lección 10 del curso Árboles de Decisión.
En la lección anterior vimos en detalle cómo funciona la poda de un árbol de decisión, una primera técnica para reducir el «overfitting» o sobre-ajuste de un árbol de decisión.
En esta lección veremos qué es y cómo implementar el ajuste o afinación de hiperparámetros de un árbol de decisión usando Scikit-Learn, una segunda técnica que también está orientada a reducir el sobre-ajuste que puedan llegar a tener estos árboles.
Así que comenzaremos repasando qué son los parámetros e hiper-parámetros de un modelo, de los cuales hablo en detalle en el curso de Introducción al Machine Learning, para luego ver cómo funciona uno de los algoritmos más usados en el ajuste de hiper-parámetros (conocido como «Grid search») y luego finalizaremos viendo de forma práctica cómo realizar este ajuste de hiper-parámetros para un árbol de regresión:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En esencia el algoritmo «grid search» realiza una búsqueda exhaustiva de la mejor combinación de hiper-parámetros entre todos los posibles valores que hayamos definido previamente, lo que permite al final del algoritmo contar con el mejor modelo posible (es decir con el árbol que posee el menor sobre-ajuste).
Y la implementación de este algoritmo resulta muy sencilla haciendo uso de la librería Scikit-Learn: simplemente debemos definir los diferentes valores a considerar para cada hiper-parámetro y luego el método «GridSearchCV» se encarga de entrenar y validar un modelo por cada combinación y al final nos permite extraer tanto la mejor combinación de hiper-parámetros (usando el atributo «best_params_») como el modelo afinado (usando el atributo «best_estimator_»).
Así que en este punto ya hemos visto las dos principales técnicas de reducción del «overfitting» que podemos usar al momento de entrenar un árbol de decisión.
Entonces, lo único que nos resta es entender cuáles son los pros y los contras de usar los árboles de decisión como modelos predictivos en tareas de clasificación y de regresión así como las situaciones en las cuales resulta recomendable su uso, que será el tema del último módulo de este curso.
Y específicamente en la próxima lección veremos cuáles son la ventajas de los árboles de decisión.
Todas las lecciones del curso Árboles de Decisión