Lección 5 del curso Introducción a los Grandes Modelos de Lenguaje.
En la lección anterior vimos el principio de funcionamiento y todos los elementos que conforman una Red Transformer.
En esta lección veremos cómo los bloques codificador y decodificador de una Red Transformer han dado origen a lo que hoy conocemos como los Grandes Modelos de Lenguaje (o LLMs por sus siglas en Inglés: Large Language Models).
Así que veremos cómo el bloque codificador permite crear lo que se conoce como LLMs representativos y cómo el decodificador permite crear los LLMs generativos:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, los LLMs representativos toman un texto de entrada y aprender a representarlo a través de «embeddings» (de allí el término «representativos»). Por otra parte, los grandes modelos de lenguaje generativos toman un texto de entrada y de manera auto-regresiva generan texto a la salida (de allí el término «generativos»).
Y dependiendo de la tarea de procesamiento de lenguaje natural que queramos desarrollar (clasificación de textos, clustering, generación de resúmenes, implementación de chatbots, etc.) podemos usar uno u otro tipo de modelo (o una combinación de ambos).
Además, es importante tener en cuenta que la creación de estos modelos implica el uso de grandes volúmenes de texto (también llamados corpus) gracias a los cuales el modelo aprende a comprender el lenguaje escrito. Y posteriormente, se puede usar un enfoque de aprendizaje supervisado para, con muchos menos datos que los usados durante el entrenamiento, poder afinar el modelo para una tarea de procesamiento del lenguaje natural en particular.
Así que en este punto ya tenemos una idea clara de qué son estos Grandes Modelos de Lenguaje y de las dos familias de LLMs que podemos tener. Entonces, lo único que nos resta para terminar este curso es ver un ejemplo práctico de uso de un Gran Modelo de Lenguaje para una tarea de generación de texto, que será precisamente el tema de la próxima lección.
Todas las lecciones del curso Introducción a los Grandes Modelos de Lenguaje