Lección 3 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior vimos varias aplicaciones de las Redes Transformer para la solución de problemas en campos que van desde el procesamiento del lenguaje natural, pasando por la genómica y la biología y llegando incluso a la visión por computador.
En las próximas lecciones veremos en detalle el principio de funcionamiento de cada uno de los elementos que conforman esta arquitectura. Y para comenzar en esta lección nos enfocaremos en su estructura general y en las dos principales contribuciones de estas redes: el concepto de “atención” y el procesamiento en paralelo.
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
La Red Transformer originalmente propuesta se diseñó para resolver el problema de la traducción de texto entre idiomas.
Esta arquitectura constsa de dos bloques principales: la etapa de codificación, que procesa la secuencia en el idioma original utilizando mecanismos de atención para capturar las relaciones entre los elementos del texto, y la etapa de decodificación, que traduce la secuencia al idioma destino.
Y con esto ya tenemos una idea general de los diferentes elementos que componen una Red Transformer.
Así que a continuación veremos en detalle cada uno de estos elementos, comenzando en la próxima lección con la codificación y en particular hablando del “embedding” de entrada.
Todas las lecciones del curso Fundamentos de Deep Learning con Python