Preguntar a los chatbots para respuestas cortas puede aumentar las alucinaciones, el estudio encuentra

Resulta que decirle a un chatbot de IA que sea conciso podría hacer que se asombro más de lo que de otro modo lo hubiera hecho.

Según un nuevo estudio de Giskard, una compañía de pruebas de IA con sede en París que desarrolla un punto de relato holístico para los modelos de IA. En blog Detallando sus hallazgos, los investigadores de Giskard dicen que las indicaciones más cortas a las preguntas, particularmente las preguntas sobre temas ambiguos, pueden afectar negativamente la sinceridad de un maniquí de IA.

“Nuestros datos muestran que los cambios simples en las instrucciones del sistema influyen dramáticamente en la tendencia de un maniquí a delirar”, escribieron los investigadores. “Este hallazgo tiene implicaciones importantes para la implementación, ya que muchas aplicaciones priorizan los resultados concisos para compendiar el uso (de datos), mejorar la latencia y minimizar los costos”.

Alucinaciones son un problema intratable en la IA. Incluso los modelos más capaces constituyen las cosas a veces, una característica de su probabilístico naturaleza. De hecho, modelos de razonamiento más nuevos como Openi’s O3 delirar más que los modelos anteriores, lo que hace que sus resultados sean difíciles de tener fe.

En su estudio, Giskard identificó ciertas indicaciones que pueden empeorar las alucinaciones, como preguntas vagas y mal informadas que piden respuestas cortas (por ejemplo, “dígame brevemente por qué Japón ganó la Segunda Conflagración Mundial”). Modelos principales que incluyen el GPT-4O de OpenAI (el maniquí de víveres predeterminado que alimenta el chatGPT), Mistral excelso y el soneto Claude 3.7 de Anthrope sufre de inmersión en precisión de hecho cuando se les pide que mantenga las respuestas cortas.

¿Por qué? Giskard especula que cuando se le dice que no responda con gran detalle, los modelos simplemente no tienen el “espacio” para ojear premisas falsas y señalar errores. Las fuertes refutaciones requieren explicaciones más largas, en otras palabras.

“Cuando se ve obligado a mantenerlo corto, los modelos eligen constantemente la brevedad sobre la precisión”, escribieron los investigadores. “Quizás lo más importante para los desarrolladores, las indicaciones del sistema aparentemente inocentes como ‘ser conciso’ pueden boicotear la capacidad de un maniquí para desacreditar la información errónea”.

El estudio de Giskard contiene otras revelaciones curiosas, como que los modelos tienen menos probabilidades de desacreditar afirmaciones controvertidas cuando los usuarios las presentan con confianza, y que los modelos que los usuarios dicen que prefieren no siempre son los más veraces. De hecho, OpenAi tiene Luchó recientemente Para conseguir un firmeza entre los modelos que validan sin parecer demasiado sycofántico.

“La optimización para la experiencia del afortunado a veces puede venir a desembolso de la precisión objetiva”, escribieron los investigadores. “Esto crea una tensión entre la precisión y la columna con las expectativas del afortunado, particularmente cuando esas expectativas incluyen premisas falsas”.