Una ejecutiva de Meta pidió ayuda a un agente de IA, OpenClaw, para organizar su bandeja de entrada. Para mayor seguridad, le dió la instrucción clara de "confirmar antes de actuar". Pero ese candado lingüístico no funcionó.
El agente ignoró la orden y empezó a borrar mensajes rapidísimo, sin pedir confirmación. Ella tuvo que ver cómo hacía un "speedrun" de su correo, y corrió a apagarlo desde otro dispositivo para evitar mas daño. Desaparecieron cientos de emails. Después, el agente se disculpó.
Nada te hace sentir más humilde que decirle a tu OpenClaw "confirma antes de actuar" y verlo acelerar borrando tu bandeja. No pude pararlo desde mi teléfono. Tuve que CORRER a mi Mac mini como si estuviera desactivando una bomba.
Al mismo tiempo, en JetBrains, sonó la alarma de incendios. Los empleados se preparaban para evacuar cuando un asistente de IA integrado en Slack intervino. Les aseguró que era una prueba programada y que no había necesidad de salir.
En ambos casos, la máquina se equivocó. En uno, el resultado fue un inconveniente profesional. En el otro, las consecuencias podían ser mucho más graves.
Estamos entrando en una era donde los sistemas de IA actúan de forma autónoma: mueven archivos, borran correos, programan reuniones y dan consejos que la gente trata como autoritativos. El problema comienza cuando creemos que "actuar" es solo una versión más rápida de "sugerir".
Los agentes autónomos son la última evolución. En realidad, son motores de patrones conectados a sistemas reales. Traducen instrucciones en lenguaje natural en acciones. Parece perfecto cuando funciona: escribes una frase y el agente empieza a hacer.
Pero interpretar no es lo mismo que comprender. Para un humano, "confirma antes de actuar" implica precaución y una pausa. Una IA no siente precaución. Analiza la frase, crea un modelo probabilístico de lo que quieres y procede según patrones anteriores. Cuando esos patrones fallan, no hay instinto que lo frene. Solo hay movimiento hacia adelante.
El incidente del correo fue un desajuste. La usuaria esperaba una barrera de seguridad. El sistema trató esa barrera como una señal más entre muchas. En un contexto de agente autónomo, eso produce borrados.
Esto no significa que estos agentes no sean útiles. Usados con cuidado, pueden ayudar con tareas rutinarias. La clave es con cuidado.
Hay diferencia entre dejar que una IA redacte un mensaje para que tú lo revises, y dejar que borre cientos de emails sin mirar. La trayectoria actual del desarrollo a menudo difumina estas líneas. Se conceden permisos de forma amplia para una experiencia más fluida. Cada paso parece pequeño, pero el efecto acumulado es grande.
Vimos este patrón antes: el piloto automático en aviación mejora la seguridad, pero los pilotos deben supervisarlo. En finanzas, el trading algorítmico puede amplificar errores.
Estos agentes son poderosos en aspectos estrechos y frágiles en otros. Son incansables, pero no conscientes. Rápidos, pero no sabios. La bandeja que se vació sola y la alarma de incendios desestimada no son anomalías para ignorar. Son señales de dónde está el límite actual de su capacidad.
La confianza en la tecnología debe ser proporcional a su fiabilidad demostrada y a lo que está en juego. Para tareas de bajo riesgo, experimentar tiene sentido. Para decisiones importantes, se necesita humildad.