Lección 4 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos la arquitectura general de una Red Transformer, lo que nos permitió tener una idea general de los diferentes elementos que componen estas redes.
En esta lección hablaremos del embedding de entrada, el primer bloque de la etapa de códificación en la Red Transformer y que permite pre-procesar la secuencia que ingresa a la red.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
La primera etapa de procesamiento en la Red Transformer es la tokenización, que convierte cada elemento del texto de entrada en una representación numérica. Luego, el embedding de entrada toma estos tokens y los transforma en representaciones vectoriales.
Así, con este primer bloque de procesamiento se logra obtener una representación vectorial de cada elemento en la secuencia de entrada.
El siguiente bloque en la etapa de codificación es el codificador posicional, del cual hablaremos en detalle en la siguiente lección.
Todas las lecciones del curso Fundamentos de Deep Learning con Python