¿Qué es una alucinación de la IA?
Cuando un modelo afirma algo falso con total seguridad. Por qué pasa y cómo protegerte.
La versión corta
- → Una alucinación es una respuesta que suena plausible y que simplemente está mal.
- → Pasa porque los modelos predicen texto probable, no hechos comprobados.
- → Se reduce con fuentes, con herramientas y comprobando todo lo que importe.
Una alucinación es cuando un modelo de IA produce información que suena bien pero no es verdad: una cita falsa, una fecha equivocada, una función inventada que no existe. Lo inquietante es la seguridad. El modelo no matiza, simplemente lo afirma.
Es el fallo más importante que hay que entender, porque forma parte de cómo funcionan estos modelos y no es un error que se vaya a corregir con un parche.
Por qué pasa
Un modelo de lenguaje se entrena para producir el siguiente trozo de texto más probable, no el más verdadero. Cuando no tiene una respuesta real, no se para. Genera la que parece más plausible, que puede ser completamente inventada.
No sabe que no sabe
El modelo no distingue entre lo que sabe y lo que está adivinando. Todo sale del mismo mecanismo de predicción de tokens, así que una suposición disparatada y un dato sólido se generan igual y suenan igual de seguros.
Dónde aparece más
En datos concretos con los que el modelo no se entrenó de forma fiable: citas exactas, referencias, estadísticas, fechas, nombres poco conocidos y todo lo posterior a su fecha de corte de conocimiento. Razonar de forma abierta es más seguro que recordar con precisión.
Cómo reducirla
Dale al modelo el material de partida, usa herramientas como la búsqueda web para los datos actuales, pídele que muestre su razonamiento y comprueba tú mismo cualquier dato o cualquier cosa en la que te juegues mucho. La generación aumentada por recuperación existe en gran parte para atacar este problema.
Una analogía
Es como un estudiante muy seguro de sí mismo que nunca aprendió a decir «no lo sé». Si le preguntas algo que no estudió, te da una respuesta fluida y que suena sensata en vez de reconocer la laguna. A menudo se acerca, a veces se lo inventa todo, y siempre lo dice sin pestañear.
Dónde encaja Berges AI
Berges AI no puede hacer desaparecer las alucinaciones, porque ningún producto puede. Lo que hace es pedirle al modelo, en cada petición, que lo diga cuando no está seguro, y el pipeline WebSearch puede traer fuentes reales cuando una pregunta necesita datos actuales y no la memoria del modelo.
Conceptos relacionados
¿Qué es un LLM?
El tipo de IA que hay detrás de los asistentes de chat, explicado sin jerga: qué es, cómo produce texto y dónde se queda corto. Leer →
¿Qué es RAG?
Dejar que un modelo consulte cosas. En vez de responder con una memoria congelada, primero busca el texto relevante y luego responde a partir de él. Leer →
Lo que nos suelen preguntar
¿Se pueden eliminar del todo las alucinaciones?
No. Se pueden reducir con fuentes, herramientas y un mejor entrenamiento, pero son una consecuencia de cómo funciona la tecnología. Trata cualquier afirmación factual como algo que hay que comprobar.
¿Por qué el modelo suena tan seguro cuando se equivoca?
Porque busca un texto plausible, no la verdad. La seguridad es una característica del estilo, no una señal de que la respuesta sea correcta.
¿En qué tareas hay menos riesgo de alucinación?
Reescribir, resumir un texto que tú le das, hacer una lluvia de ideas y razonar sobre material que el modelo tiene delante. Donde hay que tener más cuidado es en recordar con precisión datos, citas y cifras.