Lección 8 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos en detalle todos los elementos que conforman la etapa de salida de cada codificador en la Red Transformer, conformada por bloques residuales, de normalización y fully-connected.
A la salida del último codificador ya tenemos una representación compacta de la secuencia procesada, la cual contiene toda la información atencional a diferentes niveles.
Esta salida es llevada a la etapa de decodificación, que en la Red Transformer original se encarga de traducir el texto al idioma destino. Así que en esta lección veremos los elementos que conforman esta etapa de decodificación así como un panorama general de su principio de funcionamiento.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Como acabamos de ver, la etapa de decodificación en una Red Transformer tiene una estructura similar a la etapa de codificación, incluyendo un embedding, un bloque de codificación posicional y seis decodificadores.
Sin embargo, se diferencian en que cada decodificador incorpora un bloque atencional con enmascaramiento. Además, al final del sexto decodificador, se añade una capa con función de activación softmax para generar la predicción de la secuencia de salida. Esta etapa permite procesar la secuencia en paralelo durante el entrenamiento, mientras que la traducción se genera de manera secuencial, mientras que el bloque atencional con enmascaramiento facilita la combinación de estos dos requerimientos.
Así que ya tenemos un panorama general de los elementos que conforman la etapa de decodificación, así como su principio de funcionamiento.
Entonces en las próximas lecciones nos enfocaremos sólo en aquellos elementos adicionales a la etapa de codificación que se encuentran incluidos en esta fase de decodificación.
En particular, en la próxima lección veremos en detalle bloque atencional con enmascaramiento de esta etapa de decodificación.
Todas las lecciones del curso Fundamentos de Deep Learning con Python