6 – Evaluación de un modelo de Regresión Lineal Múltiple

Lección 6 del curso Regresión Lineal.

En la lección anterior vimos en qué consiste la estimación de parámetros de un modelo de Regresión Lineal Múltiple, que en esencia hace uso del algoritmo de mínimos cuadrados ordinarios para encontrar los parámetros que minimizan la suma de errores cuadráticos.

En esta lección veremos cómo evaluar un modelo de Regresión Lineal múltiple para tareas de inferencia y de predicción. Así que veremos cómo realizar el análisis de residuales, qué pruebas estadísticas aplicar para el caso de inferencia y cómo usar las métricas RMSE, MAE y MAPE así como los intervalos de predicción para cuantificar la calidad y la incertidumbre en las predicciones.

Comencemos entonces viendo cómo realizar el análisis de residuales:

Como acabamos de ver, este análisis de residuales busca determinar si dichos residuales tienen o no un comportamiento ideal (variable aleatoria, con media cero y distribución Gaussiana).

Este análisis nos permitió concluir en este caso que el modelo no logra capturar totalmente los patrones presentes en los datos y que además los residuales exhiben algo de heterocedasticidad.

Teniendo en cuenta esto, veamos cómo evaluar el modelo para tareas de inferencia:

En este caso hemos cuantificado los intervalos de confianza de los parámetros obtenidos y hemos aplicado una prueba similar a ANOVA para determinar si los parámetros del modelo de regresión lineal múltiple son, estadísticamente hablando, iguales o diferentes de cero. Esta última prueba se puede complementar con pruebas t robustas que permiten determinar de forma individual cuáles de estos parámetros son iguales o diferentes de cero.

Adicionalmente, vimos qué es y cómo calcular el parámetro $R^2$ ajustado, que resulta adecuado en un modelo de regresión lineal múltiple pues penaliza el valor $R^2$ obtenido dependiendo de la cantidad de variables predictoras que incluyamos en el modelo.

Así que para finalizar esta lección, veamos cómo evaluar este modelo para una tarea de predicción:

Muy bien, como acabamos de ver la evaluación del modelo para tareas de predicción consiste en usar métricas puntuales (como RMSE, MAE y MAPE) para cuantificar la precisión de las predicciones, mientras que podemos usar los intervalos de predicción para cuantificar la incertidumbre que tendrán dichas predicciones.

Y en esencia, estos métodos de evaluación que acabamos de ver para el caso de la regresión lineal múltiple son muy similares a los que vimos en detalle en la lección 3 cuando evaluamos un modelo de regresión lineal simple. Lo que ocurre en este caso es que al tener más variables predictoras, algunas pruebas introducen ligeras modificaciones y la interpretación de los resultados debe considerar la comparación entre los múltiples parámetros obtenidos.

Así que en este punto ya tenemos todos los elementos esenciales que nos permiten entrenar y evaluar modelos de regresión lineal tanto simple como múltiple.

Hasta este punto hemos visto cómo usar únicamente variables numéricas como variables predictoras en este tipo de modelos. Sin embargo, en la práctica también podremos encontrar situaciones en donde las variables categóricas también podrían resultar relevantes al momento de entrenar modelos lineales. Así que en la próxima lección veremos cómo incluir variables categóricas en modelos de Regresión Lineal.

Todas las lecciones del curso Regresión Lineal