Cómo evaluar un resumen con IA

Los modelos de lenguaje resumen con rapidez y con buena redacción. Ese es precisamente el riesgo: un resumen bien escrito transmite confianza aunque contenga un dato que no estaba en las fuentes. En vigilancia, donde el resumen puede acabar en un informe para la dirección, la pregunta útil no es si el texto suena bien, sino si puedes comprobar lo que dice.

Estos cinco criterios sirven para evaluar cualquier resumen generado con IA, con independencia de la herramienta que lo produzca.

1. Citas verificables

Cada afirmación relevante debería apuntar al documento del que procede. Una cita es verificable cuando cumple tres condiciones:

Existe. El enlace abre un documento real y accesible.
Es específica. Lleva al documento concreto y, de ser posible, al pasaje, no a la portada de un sitio.
Sostiene la afirmación. Al leer el pasaje citado, encuentras lo que el resumen dice.

La tercera condición es la más fácil de pasar por alto. Un resumen puede citar una fuente auténtica y atribuirle algo que esa fuente no afirma. Comprobar que el enlace funciona no basta: hay que leer.

2. Fidelidad

Un resumen fiel no añade, no cambia y no exagera. Los problemas típicos son:

Datos alterados: cifras, fechas, nombres o cargos que no coinciden con el original.
Matices perdidos: “se propone” convertido en “se aprobó”; “podría” convertido en “hará”.
Atribuciones cruzadas: lo que dijo una fuente aparece en boca de otra.
Causalidad añadida: dos hechos que las fuentes presentan por separado aparecen unidos con un “debido a”.
Conocimiento externo: el modelo completa el texto con información que no está en los documentos que se le dieron.

Para revisar la fidelidad, toma cada cifra, fecha y nombre propio del resumen y búscalo en la fuente citada. Es una comprobación mecánica, y conviene empezar por ella porque los errores en datos concretos son los que más daño hacen cuando llegan a un informe.

3. Cobertura

Un resumen puede ser fiel en todo lo que dice y aun así engañar por lo que omite. Pregúntate:

¿Recoge los hechos principales de todos los documentos, o solo los del primero?
Si las fuentes discrepan, ¿muestra la discrepancia o elige una versión sin avisar?
¿Incluye los datos que tu lector necesita para decidir: quién, qué, cuándo, a quién afecta?
¿Mantiene la proporción? Un detalle secundario no debería ocupar más espacio que el hecho central.

Una forma práctica de valorar la cobertura es escribir, antes de leer el resumen, los tres o cuatro puntos que considerarías imprescindibles tras leer las fuentes, y comprobar después cuántos aparecen.

4. Capacidad de decir “sin datos suficientes”

Un buen sistema reconoce cuándo las fuentes no alcanzan. Si preguntas por el impacto de una norma y los documentos disponibles solo anuncian su publicación, la respuesta correcta es que no hay información suficiente, no un párrafo de generalidades verosímiles.

Puedes probarlo de forma deliberada:

Haz una pregunta cuya respuesta sabes que no está en los documentos.
Pide un dato concreto, como una fecha o un monto, que las fuentes no mencionan.
Pregunta por un tema cercano pero distinto del que cubren las fuentes.

Si en esos casos obtienes una respuesta segura y detallada, tienes un problema de fondo: no podrás distinguir las respuestas fundadas de las que no lo son. Un “no consta en las fuentes” es una señal de calidad, no un defecto.

5. Revisión humana

Ningún criterio anterior elimina la necesidad de que una persona revise. Lo que cambia es cuánto y dónde:

Revisión completa para todo lo que sale de la organización o llega a un órgano de decisión.
Revisión por muestreo para resúmenes de uso interno y gran volumen: toma una muestra periódica, compárala con las fuentes y registra los errores por tipo.
Revisión reforzada para contenidos sensibles: normativa, cifras financieras, afirmaciones sobre personas u organizaciones.

Conviene que quien revisa tenga a la vista el resumen y las fuentes en paralelo, y que pueda corregir o descartar con facilidad. Si revisar cuesta más que redactar desde cero, la revisión dejará de hacerse.

Lista de comprobación

Antes de dar por bueno un resumen, confirma que:

Cada afirmación relevante tiene una cita, y la cita abre el documento correcto.
Cifras, fechas y nombres coinciden con el original.
Los verbos conservan el grado de certeza de la fuente.
No hay conclusiones que las fuentes no formulan.
Los puntos imprescindibles están presentes.
Las discrepancias entre fuentes están señaladas.
Lo que no se sabe está dicho de forma explícita.

Errores frecuentes al evaluar

Juzgar por la fluidez. La calidad de la prosa no indica nada sobre la exactitud.
Evaluar sin leer las fuentes. Sin el original delante solo puedes opinar sobre el estilo.
Probar solo con casos fáciles. Conviene incluir fuentes contradictorias, documentos largos, tablas y textos en varios idiomas, que son situaciones más exigentes.
Evaluar una sola vez. El comportamiento puede cambiar cuando cambian el modelo, las instrucciones o el tipo de fuente; la evaluación debe repetirse.

Una regla sencilla

Si no puedes llegar del resumen a la fuente y encontrar allí lo que el resumen afirma, trátalo como un borrador sin verificar. Sobre el papel de las citas en el trabajo con agentes, consulta la página de agentes de IA; y para integrar un resumen ya revisado en un entregable, cómo armar un boletín útil.