Lección 5 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos el funcionamiento del embedding de entrada, el primer bloque de la Red Transformer encargado de generar representaciones vectoriales de cada elemento en la secuencia de entrada.
En esta lección veremos en detalle el siguiente bloque de procesamiento de la Red, el codificador posicional, la primera gran innovación introducida por esta arquitectura y que permite el procesamiento en paralelo de todos los elementos de la secuencia.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Acabamos de ver que al añadir el vector posicional a cada uno de los elementos de la secuencia de entrada resulta posible procesar dicha secuencia de forma paralela por parte de los demás bloques de la red. Y esta es precisamente una de las grandes innovaciones introducidas por esta arquitectura.
En la siguiente lección continuaremos hablando de la etapa de codificación, y en particular nos centraremos en el bloque atencional, otro de los elementos esenciales de las Redes Transformer y que le permite “comprender” las relaciones entre uno y otro elemento de la secuencia procesada.
Todas las lecciones del curso Fundamentos de Deep Learning con Python