Lección 8 del curso Detección de Objetos con Deep Learning.
En lecciones anteriores vimos cómo funcionan los modelos YOLO y los modelos DETR para realizar tareas de detección de objetos en imágenes. De igual forma, vimos cómo implementar de forma práctica detectores de objetos basados en estos modelos.
Sin embargo, existen situaciones donde el uso de modelos afinados no resulta adecuado para detectar sólo algunos objetos con características particulares dentro de la imagen. O también, en algunos casos no contamos con un número de imágenes etiquetadas lo suficientemente grande como para entrenar un modelo YOLO o DETR.
Así que en esta lección veremos qué son los modelos de vocabulario abierto en detección de objetos, que permiten guiar el proceso de detección usando descripciones en lenguaje natural:
Contenido exclusivo para suscriptores
Si eres suscriptor accede en este enlace ó suscríbete a la Academia Online y accede a todo el contenido (lecciones en video, código fuente, sets de datos y descargas) de todos los cursos, proyectos y tutoriales.
Muy bien, acabamos de ver el principio de funcionamiento de los modelos de vocabulario abierto para detección de objetos. En particular, vimos cómo funcionan los modelos YOLO World (basado en modelos YOLO) y Grounding DINO (basados en modelos DETR).
La idea central en ambos casos es combinar un modelo detector de objetos con las prestaciones que ofrece un modelo de lenguaje para de esta forma lograr detectar objetos nuevos (para los cuales el modelo no ha sido entrenado) simplemente a partir de una palabra o frase (por ejemplo: «gato blanco», «perro gris», etc.).
Estos modelos también se conocen como detectores de objetos zero-shot, pues no es necesario afinarlos para realizar este proceso de detección basado en texto.
Este tipo de modelos puede resultar útil cuando no tenemos suficientes datos para afinar un modelo, cuando queremos semi-automatizar el proceso de etiquetado de imágenes o cuando las categorías de objetos a detectar cambian frecuentemente.
Así que teniendo claro el principio de funcionamiento de estos modelos de vocabulario abierto, en la próxima lección veremos cómo usar dos de estos modelos (YOLO World y Grounding DINO) para realizar una tarea de detección de objetos usando lenguaje natural.
Todas las lecciones del curso Detección de Objetos con Deep Learning