Lección 6 del curso Clasificación de Texto con Grandes Modelos de Lenguaje.
En la lección anterior vimos cómo clasificar texto usando grandes modelos texto-a-texto, que son un tipo de modelo de lenguaje generativo.
En esta última lección del curso veremos cómo implementar un clasificador de texto usando modelos puramente generativos, similares a los usados en aplicaciones como ChatGPT.
Así que comenzaremos dando un repaso a la arquitectura de estos modelos generativos y luego veremos cómo usar un modelo abierto, disponible en Hugging Face, para realizar la clasificación de comentarios de películas:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, la implementación de un clasificador de texto con Grandes Modelos de Lenguaje generativos implica varios requerimientos a tener en cuenta.
En primer lugar, debemos estructurar correctamente un «prompt» para que el modelo de instrucción sea capaz de clasificar el texto. Sin embargo, por tratarse de un modelo generativo, el texto generado contendrá un cierto grado de aleatoriedad que no resulta adecuado para una tarea de clasificación.
Así que para reducir este grado de aleatoriedad, y permitir la reproducibilidad de la clasificación, debemos usar valores de temperatura bastante bajos (cercanos a cero) para garantizar que los sentimientos predichos siempre serán los mismos independientemente de cuántas veces generemos las predicciones.
Además, debemos tener en cuenta que estos modelos generativos contienen, generalmente, un elevado número de parámetros, lo que hace necesario el uso de hardware con altas capacidades de procesamiento (GPUs). De igual manera, el tiempo de inferencia con estos modelos será mucho mayor al obtenido al hacer uso de modelos de representación (como los usados en las primeras lecciones de este curso).
Así que con esto hemos llegado al final de este curso, donde hemos visto diferentes esquemas de clasificación de texto haciendo uso de diferentes tipos de Grandes Modelos de Lenguaje.
En cada lección vimos los pros y los contras de cada alternativa así como los criterios para escoger los diferentes modelos. Sin embargo, es importante tener en cuenta que realmente no existe una alternativa mejor que otra y que la elección final del esquema de clasificación y del modelo a usar dependerá de las características particulares del texto que queramos clasificar.
Adicionalmente, es importante tener en cuenta que los modelos de representación son discriminativos y que, por tanto, garantizan un 100% de reproducibilidad en los resultados de la clasificación. Por otra parte, los modelos generativos no garantizan este nivel de reproducibilidad dada la aleatoriedad inherente a la generación de texto.
Finalmente, si ninguna de las alternativas vistas en este curso resulta adecuada para la clasificación podemos recurrir a otra estrategia: la afinación de un LLM usando un set de datos propio (sin embargo, dedicaremos un curso completo a este tema así que por eso no lo hemos abordado en este curso).
Como siempre te invito a contactarme a través de la Intranet para que me compartas tus comentarios sobre este curso y tus sugerencias para seguir mejorando el contenido de la Academia. Y desde luego te invito a seguir tu proceso de formación tomando los otros cursos de las diferentes especializaciones disponibles acá en la Academia.
¡Así que te envío un saludo y nos vemos en el próximo curso!
Todas las lecciones del curso Clasificación de Texto con Grandes Modelos de Lenguaje