Lección 6 del curso Pronósticos de Series de Tiempo con Regresión.
En la lección anterior vimos cómo aprovechar las descomposiciones de una Serie (en tendencia y estacionalidad) para la generación de pronósticos.
En esta lección veremos cómo cuantificar el desempeño de un modelo de pronósticos de Series de Tiempo usando métricas para los pronósticos puntuales (como el MAE, el RMSE y el MAPE) y métricas para los pronósticos distribucionales (como el índice de Winkler). Además, veremos de forma práctica cómo usar Python y la librería StatsForecast para cuantificar el desempeño de un modelo predictivo usando estas métricas:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, existen dos grandes familias de métricas que nos permiten cuantificar el desempeño de un modelo de generación de pronósticos de Series de Tiempo:
- Las métricas aplicadas a pronósticos puntuales, entre las que se encuentran el error absoluto medio (o MAE por sus siglas en Inglés), la raíz cuadrada del error cuadrático medio (o RMSE) y el error porcentual absoluto medio (o MAPE). En este caso las dos primeras son dependientes de la escala mientras que la última (el MAPE) es adimensional y se mide como un porcentaje (entre 0% y 100%).
- Las métricas aplicadas a pronósticos distribucionales, de las cuales la más usada es el índice de Winkler que permite cuantificar la cobertura y la amplitud del intervalo de predicción asociado al modelo.
Además, vimos cómo usar la librería StatsForecast de Python para fácilmente, con muy pocas líneas de código, calcular estas métricas sobre diferentes modelos predictivos.
Y en todos los ejemplos analizados en esta lección vimos que el cálculo de dichas métricas se realizó sobre los sets de entrenamiento y validación. Sin embargo, en muchas ocasiones no resulta conveniente el uso de estos sub-sets para cuantificar el desempeño de un modelo, así que en la próxima lección veremos una alternativa que muchas veces resulta más adecuada. Hablaremos entonces de la validación cruzada en Series de Tiempo.
Todas las lecciones del curso Pronósticos de Series de Tiempo con Regresión