Lección 11 del curso Regresión Lineal.
En la lección anterior vimos cómo realizar la selección por pasos de variables predictoras en un modelo de Regresión Lineal.
Y aunque se trata de un método que no requiere demasiado tiempo de cómputo, la principal limitación en comparación con la selección de las mejores covariables es que no se puede garantizar que el subconjunto de predictores seleccionados sea el mejor de todos.
Una alternativa a estos métodos de selección de variables son las técnicas de regularización. En estas técnicas se entrena el modelo con la totalidad de las covariables disponibles, pero durante el entrenamiento el método se encarga de atenuar los parámetros asociados a aquellas covariables menos relevantes para el modelo, así como de dar un mayor valor a aquellos parámetros asociados a predictores que resultan más importantes. Y las dos técnicas de regularización más usadas en modelos de Regresión Lineal son Ridge y Lasso.
Así que en esta lección veremos qué es y cómo implementar de forma práctica la Regresión Ridge en un modelo de Regresión Lineal:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En esencia la regresión Ridge añade un término de penalización (conocida como penalización L2) a la función de costo usada originalmente en la estimación de parámetros en la Regresión Lineal Múltiple.
Así, al incluir esta penalización lo que se busca es que el modelo tenga los parámetros más pequeños posible, lo cual en últimas hace que aquellos parámetros asociados a covariables menos relevantes sean más pequeños (cercanos a cero) y por tanto no tengan tanto impacto en las predicciones generadas por el modelo.
Además, vimos que el desempeño de un modelo regularizado usando esta técnica de regresión Ridge es comparable con el obtenido con los métodos de selección de variables que vimos en las lecciones anteriores.
Una de las limitaciones de esta regresión Ridge es que a pesar de que algunos parámetros serán atenuados significativamente, sus valores nunca serán exactamente iguales a cero. Y esto quiere decir que en mayor o menor grado las covariables asociadas seguirán teniendo un efecto en las predicciones hechas por el modelo.
Una alternativa a este inconveniente es precisamente la Regresión Lasso, de la cual hablaremos en la próxima lección.
Todas las lecciones del curso Regresión Lineal