En los últimos años, los grandes modelos de lenguaje (LLM) han sorprendido por su aparente habilidad para resolver problemas complejos. Sin embargo, investigaciones recientes señalan que muchos de estos sistemas no están realmente aprendiendo, sino memorizando los datos con los que se evalúan.
Este fenómeno, conocido como contaminación de datos, ocurre cuando fragmentos de las pruebas (test-split) llegan, sin querer, al conjunto de entrenamiento. El resultado es que el modelo «aprueba con nota» sus exámenes, pero luego no generaliza bien a datos nuevos en producción.
Spoilers de películas
Un ejemplo paradigmático lo ofrece el dataset MovieLens-1M, muy utilizado en sistemas de recomendación. Al entrenar modelos en grandes corpus web sin filtrado estricto, los investigadores de la Politécnico di Bari descubrieron que LLMs líderes habían memorizado gran parte de esa base de datos.
La memoria de títulos, géneros y valoraciones de usuarios provoca que las pruebas de recomendación reflejen recuerdos en lugar de capacidad de sugerencia. Lo que parecía inteligencia corre el riesgo de convertirse en un eco estadístico de datos previamente vistos.
Método de evaluación
Para distinguir entre aprendizaje y simple recuperación, los autores definieron tres tipos de memorización: de ítems, de usuarios e de interacciones. Utilizaron técnicas de zero-shot, few-shot y cadena de pensamiento, comprobando cuántos registros del MovieLens-1M podían obtener con prompts minimalistas.
Por ejemplo, al proporcionar el ID de una película, si el modelo devolvía su título y género sin más información, se consideraba un caso de memorización de ítem. De modo similar, se evaluó la recuperación de detalles de usuario y la predicción de la siguiente valoración.
Datos y pruebas
MovieLens-1M consta de tres archivos: Movies.dat (ID, título, género), Users.dat (ID y atributos demográficos) y Ratings.dat (historial de valoraciones). Este conjunto aparece en más del 20 % de los artículos de las conferencias ACM RecSys y SIGIR 2024.
Los investigadores midieron la cobertura de recuperación definiendo un porcentaje de acierto: cuántas entradas podía reproducir el modelo en comparación con el total. Probaron GPT-4o, GPT-3.5 turbo y varias versiones de Llama ajustadas con temperatura cero para garantizar resultados consistentes.
Resultados y análisis
Los modelos de OpenAI (GPT-4o y GPT-3.5 turbo) recuperaron porciones sustanciales de MovieLens-1M, con GPT-4o alcanzando casi un 80 % de cobertura en títulos de películas. En contraste, las variantes abiertas de Llama mostraron recuperaciones más modestas.
Además, al evaluar tareas de recomendación, estos mismos LLM superaron métodos tradicionales como UserKNN, BPRMF y LightGCN. La correlación entre mayor memorización y mejor desempeño sugiere que los resultados están inflados por datos ya vistos.
Un análisis adicional reveló un sesgo de popularidad: los ítems más populares se recuperan con más facilidad que los menos interactuados. GPT-4o alcanzó cerca del 89 % de cobertura en el top 20 % de películas más valoradas, frente al 64 % en el bottom 20 %.
Conclusión
El estudio destaca que, a medida que los conjuntos de entrenamiento crecen indiscriminadamente, la supervisión manual resulta inviable. La contaminación de datos amenaza con inflar artificialmente el rendimiento de los LLM y sesgar sus recomendaciones.
No existe, por ahora, una solución automática definitiva. Reducir la filtración de benchmarks en entrenamientos exige un delicado equilibrio entre escalabilidad y juicio humano, un reto pendiente para la comunidad de Inteligencia Artificial.
