Alucinación

Las alucinaciones nacen del propio funcionamiento de los modelos de lenguaje. Un modelo aprende a producir un texto estadísticamente plausible dado lo anterior; no consulta hechos y no tiene un sentido incorporado de lo que ignora. Cuando la respuesta falta en su entrenamiento o está débilmente representada, la continuación más plausible sigue siendo una frase fluida, y por eso rellena el hueco con algo que suena bien. Las preguntas vagas o tendenciosas, los temas poco frecuentes, las peticiones de cifras exactas, notas al pie, referencias de jurisprudencia o números de teléfono, y las entradas muy largas lo hacen más probable.

Adoptan varias formas. Un modelo puede inventar un dato, atribuir una cita a la persona equivocada, mencionar un estudio, una sentencia o una dirección web que no existe, confundir dos ciudades, medicamentos o empresas parecidas, o contradecir un documento que le diste. En programación, el caso típico es llamar a una función de una biblioteca cuyo nombre es verosímil pero no existe. El tono no da ninguna pista: una respuesta inventada suele estar redactada con la misma soltura que una correcta.

Nada elimina el problema por completo, pero varios hábitos lo reducen. Entrega al modelo los documentos fuente y pídele que responda únicamente a partir de ellos. Exige citas o referencias que puedas abrir. Usa un modelo de razonamiento para las preguntas de varios pasos. Compara las respuestas de dos modelos, o haz que un segundo revise la primera. Reduce el azar en las consultas factuales y prefiere una pregunta breve y concreta a una interminable. Y considera todo lo que tenga peso jurídico, médico, financiero o de seguridad como algo que debes confirmar en una fuente fiable. Los investigadores distinguen los casos intrínsecos, en los que la salida contradice el material aportado, de los extrínsecos, en los que añade afirmaciones imposibles de verificar en uno u otro sentido; el resumen, la traducción y las preguntas y respuestas presentan ambos.

La página sobre cómo verificar las respuestas de una IA describe el contraste cruzado de NeverNo: un modelo de otra familia revisa la respuesta, señala lo que parece falso y propone una corrección, con dos modos, uno que revisa sin web y otro que comprueba las afirmaciones en la web citando sus fuentes. Claude Sonnet 5.5, el modelo equilibrado de Anthropic, es uno de los modelos anonimizados que se pueden usar a ambos lados de ese intercambio; tiene una ventana de contexto de 200 000 tokens y un esfuerzo de razonamiento ajustable.

Anonimizado significa que el fabricante, Anthropic, lee el texto sin saber quién eres y que sus propias reglas se aplican. No afirmamos que un modelo alucine más o menos que otro. El método correcto es el mismo para todos: pedir fuentes, abrirlas y mantener un control humano sobre lo que importa.