Decirle a un chatbot de IA que sea conciso puede afectar su capacidad para desacreditar información errónea, según un estudio de Giskard, una compañía de pruebas de IA con sede en París.
El estudio revela que las indicaciones cortas a las preguntas, especialmente sobre temas ambiguos, pueden llevar a que los modelos de IA deliren. Esto plantea preocupaciones sobre la precisión de los resultados de los modelos de IA en situaciones donde se prioriza la concisión.
Las alucinaciones son un problema común en la IA, incluso en los modelos más avanzados, debido a su naturaleza probabilística. Los modelos más nuevos tienden a delirar más, lo que dificulta confiar en sus resultados.
Giskard identificó que ciertas indicaciones, como preguntas vagas que requieren respuestas cortas, pueden empeorar las alucinaciones en los modelos de IA. Modelos como el GPT-4O de OpenAI y Mistral excelso muestran una disminución en la precisión cuando se les pide ser concisos en sus respuestas.
La falta de espacio para analizar premisas falsas y errores puede llevar a que los modelos elijan la brevedad sobre la precisión al responder. Esto plantea desafíos para los desarrolladores que buscan mejorar la capacidad de los modelos para desacreditar información errónea.
Otras revelaciones del estudio incluyen que los modelos tienen menos probabilidades de refutar afirmaciones controvertidas cuando los usuarios las presentan con confianza, y que los modelos preferidos por los usuarios no siempre son los más precisos.
La optimización para la experiencia del usuario a veces puede comprometer la precisión objetiva de los modelos de IA, lo que crea una tensión entre la precisión y la satisfacción del usuario, especialmente cuando se basa en premisas falsas.