Lección 4 del curso Introducción a los Grandes Modelos de Lenguaje.
En la lección anterior vimos en qué consiste el mecanismo atencional de los Grandes Modelos de Lenguaje, que es la pieza clave que les permite comprender el lenguaje natural y además generar texto.
En esta lección veremos el principio de funcionamiento de las Redes Transformer, que son la arquitectura de Red Neuronal que ha revolucionado el procesamiento del lenguaje natural y que son precisamente la base de los Grandes Modelos de Lenguaje existentes en la actualidad:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, las Redes Transformer son un tipo de arquitectura basada en las Redes Neuronales pero que incorporan el mecanismo atencional al momento de procesar secuencias de texto.
Esto permite que estas redes sean capaces de comprender y generar texto en lenguaje natural. Así, la Red Transformer propuesta originalmente es capaz de tomar texto en un idioma y realizar su traducción a un segundo idioma.
Y para lograr esto implementa dos bloques que son precisamente la base de los actuales Grandes Modelos de Lenguaje: el codificador y el decodificador.
El bloque codificador de una Red Transformer se entrena para aprender a generar representaciones (en formato de «embeddings») del texto original, mientras que el decodificador aprende a generar texto en el segundo idioma.
Y de hecho, cómo veremos en la próxima lección, estos dos bloques (codificador o decodificador) han sido usados para construir diferentes tipos de Grandes Modelos de Lenguaje y para resolver diferentes tipos de problemas del procesamiento del lenguaje natural.
Así que teniendo claras las principales características de la Red Transformer, ya estamos listos para ver cómo funcionan en detalle los Grandes Modelos de Lenguaje, que será precisamente el tema de la próxima lección.
Todas las lecciones del curso Introducción a los Grandes Modelos de Lenguaje