Lección 10 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos el funcionamiento detallado del bloque atencional con enmascaramiento del decodificador, que permite entrenar en paralelo la Red pero a su vez generar predicciones de manera secuencial.
En esta sección veremos cómo funciona el bloque atencional de la etapa de decodificación, que permite procesar simultáneamente la secuencia tanto en el idioma original (proveniente de la salida de la etapa de codificación) como la secuencia en el idioma destino (que viene de ser proceasda por el bloque atencional con enmascaramiento).
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
En esencia el bloque atencional en la decodificación tiene como objetivo aprender a cuantificar relaciones tanto en la secuencia destino como en la secuencia original proveniente de la etapa de codificación. Este bloque combina la información de ambas secuencias para generar la traducción del texto original durante el entrenamiento.
Así que ya tenemos el segundo elemento esencial de la etapa de decodificación: el bloque atencional, que combina la información de la secuencia original y en el idioma destino para aprender a generar las traducciones.
Lo único que nos falta es hablar de la etapa de salida de esta decodificación, que será precisamente el tema de la próxima lección.
Todas las lecciones del curso Fundamentos de Deep Learning con Python