Lección 13 del módulo “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
En la lección anterior logramos implementar y entrenar la Red Transformer concebida originalmente para resolver un problema de Machine Translation (o traducción de texto de un lenguaje a otro).
De igual forma, en la primera parte de este módulo hablamos de los bloques esenciales que conforman la arquitectura de la Red Transformer: el embedding, la codificación posicional y los codificadores y decodificadores, que a su vez contienen bloques atencionales y residuales, y que en conjunto permitían resolver el problema de la traducción de texto de un idioma a otro.
Pues resulta que estos bloques pueden ser combinados de diferentes formas para obtener nuevas funcionalidades, generando así arquitecturas derivadas de esta Red Transformer original que permiten resolver diferentes problemas del procesamiento del lenguaje natural.
En esta lección hablaremos de una primera arquitectura derivada de la Red Transformer, que se conoce como BERT y que introduce el concepto de transferencia de aprendizaje al área del Procesamiento del Lenguaje Natural, lo que ha permitido desarrollar aplicaciones muy interesantes en este campo.
Veamos entonces en qué consiste esta arquitectura:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Bien, acabamos de ver la estructura general de BERT, una arquitectura derivada de las Redes Transformer que hace uso únicamente de la etapa de codificación y que es pre-entrenada con un corpus gigantesco, logrando que aprenda, durante este entrenamiento, a analizar bidireccionalmente las secuencias.
Gracias a este pre-entrenamiento BERT ha traído el concepto de transferencia de aprendizaje al procesamiento del lenguaje natural, usando el modelo pre-entrenado para luego afinarlo con sets de datos más pequeños y lograr así especializarlos para resolver tareas específicas.
Con estas ideas estamos listos para la segunda práctica de este módulo del curso, en donde implementaremos BERT para una tarea de preguntas y respuestas, un problema típico del Procesamiento del Lenguaje Natural.
Todas las lecciones del curso Fundamentos de Deep Learning con Python