Lección 9 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos las principales características y el principio de funcionamiento de la etapa de decodificación en una Red Transformer.
En esta lección veremos en detalle cómo funciona el bloque atencional con enmascaramiento del decodificador, que permite entrenar en paralelo la Red pero a su vez generar predicciones de manera secuencial.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, el bloque atencional con enmascaramiento en la etapa de decodificación es similar al del codificador, pero incluye un bloque de enmascaramiento.
Este enmascaramiento asegura que la atención se calcule considerando solo la palabra actual y las anteriores, excluyendo las futuras, permitiendo procesar la secuencia en paralelo durante el entrenamiento y aprendiendo a la vez a generar la siguiente palabra de forma secuencial.
Además, cada decodificador contiene múltiples bloques de atención enmascarada multi-cabezal y bloques residuales, cumpliendo funciones similares a las del codificador.
Teniendo claro el funcionamiento en detalle del bloque atencional con enmascaramiento, es momento de enfocarnos en otro de los elementos que diferencial la etapa de decodificación de la codificación.
Así que en la próxima lección nos enfocaremos en el bloque atencional de la decodificación.
Todas las lecciones del curso Fundamentos de Deep Learning con Python