Lección 6 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos el principio de funcionamiento del codificador posicional y cómo este facilita el procesamiento en paralelo de la secuencia por parte de la Red Transformer.
En esta lección veremos el funcionamiento del elemento central del codificador: el bloque atencional. Este bloque permite cuantificar no sólo la forma como se relacionan los diferentes elementos de la secuencia, sino cuáles de ellos resultan más relevantes al momento de la traducción del texto.
Así que veamos en detalle cómo funciona este bloque.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver el funcionamiento en detalle del bloque fundamental de la etapa de codificación en la Red Transformer: el bloque atencional.
En esencia este bloque lo que hace es tomar cada elemento de la secuencia y compararlo consigo mismo y con los demás a diferentes niveles, generando a la salida una representación compacta (y matricial) de esta información.
Con esto ya podemos pasar a la etapa de salida de cada codificador, que será precisamente el tema de la próxima lección.
Todas las lecciones del curso Fundamentos de Deep Learning con Python