6 – ¿Qué es el «re-ranking»?

Lección 6 del curso Búsqueda Semántica con LLMs.

En la lección anterior vimos cómo implementar un sistema de Búsqueda Semántica usando bases de datos vectoriales, así que hasta este punto ya tenemos todos los elementos esenciales para construir este tipo de sistemas.

Sin embargo, en ocasiones el orden de los documentos retornados por esta Búsqueda Semántica no es el más adecuado y lo ideal sería implementar un bloque de procesamiento adicional que permita reorganizar estos documentos dependiendo de su nivel de relevancia para la consulta.

Así que en esta lección veremos en qué consiste el re-ranking en un Sistema de Búsqueda Semántica, que permite precisamente re-organizar los documentos retornados para garantizar que aquellos más relevantes estarán en los primeros lugares. Además, veremos qué tipos de modelos se usan para realizar este «re-ranking» y qué ventajas tiene el uso de este tipo de modelos en un sistema de Búsqueda Semántica:

Como acabamos de ver, un modelo de re-ranking es lo que se conoce como un cross-encoder, es decir un codificador de una Red Transformer que analiza numéricamente tanto la semántica de la consulta como de los documentos (entregados por el bloque dense retrieval) y que como resultado arroja un puntaje de relevancia para cada documento.

Este puntaje estará entre 0 y 1 y el resultado esperado es que aquellos documentos más relevantes para la consulta tengan puntajes más cercanos a 1 y los menos relevantes tengan niveles de relevancia mucho más bajos.

Así que, teniendo claro el principio de funcionamiento del «re-ranking» y de los cross-encoders, en la próxima lección veremos cómo implementar un sistema de Búsqueda Semántica incorporando un bloque adicional de re-ranking con Grandes Modelos de Lenguaje pre-entrenados.

Todas las lecciones del curso Búsqueda Semántica con LLMs