Un chatbot de atención al cliente basado en inteligencia artificial inventó una política empresarial y generó un gran caos.

Un desarrollador que utilizaba el popular editor de código impulsado por inteligencia artificial, Cursor, vivió una experiencia confusa el lunes. Al cambiar entre diferentes dispositivos, descubrió que su sesión en Cursor se cerraba automáticamente, interrumpiendo un flujo de trabajo común para aquellos que utilizan múltiples máquinas. Al contactar con el soporte de Cursor, el asistente, que se identificó como "Sam", le indicó que este comportamiento era parte de una nueva política. Sin embargo, esta política no existía y Sam resultó ser un bot de inteligencia artificial que, por error, fabricó esta información.

Este incidente generó una ola de quejas y amenazas de cancelación de suscripciones documentadas en Hacker News y Reddit. Los problemas que causan los "confabulaciones" de la inteligencia artificial son cada vez más frecuentes. Estas confabulaciones se refieren a las respuestas donde los modelos de IA inventan información plausible pero falsa. En lugar de admitir incertidumbre, los modelos de IA tienden a generar respuestas seguras, incluso si eso significa crear datos desde cero.

Para las empresas que utilizan estos sistemas en roles de atención al cliente sin supervisión humana, las consecuencias pueden ser inmediatas y costosas: clientes frustrados, confianza dañada y, en el caso de Cursor, una posible cancelación de suscripciones.

El usuario de Reddit, conocido como BrokenToasterOven, fue quien primero notó el problema al alternar entre un escritorio, una laptop y un entorno de desarrollo remoto, lo que llevó a que sus sesiones en Cursor se terminaran de manera inesperada. En su mensaje, más tarde borrado por los moderadores de r/cursor, mencionó que había una "regresión significativa en la experiencia de usuario". Intrigado y molesto, escribió a soporte técnico, recibiendo rápidamente una respuesta que parecía oficial confirmando que Cursor solo funcionaba en un dispositivo por suscripción como medida de seguridad.

Los demás usuarios asumieron que esta respuesta era una confirmación de un verdadero cambio en la política, lo que llevó a una serie de publicaciones en las que anunciaban la cancelación de sus suscripciones por esta nueva restricción. Finalmente, y después de varios anuncios de cancelación, un representante de Cursor aclaró en Reddit que no existía tal política y que se podía usar Cursor en múltiples dispositivos, pidiendo disculpas y explicando que el error provenía de un bot de asistencia que había proporcionado información incorrecta.

Este episodio también recuerda un incidente anterior donde Air Canada tuvo que implementar una política de reembolso que había sido creada por su propio chatbot. El tribunal canadiense decidió que las empresas son responsables de la información que proporcionan sus herramientas de IA, un punto que Cursor reconoció al disculparse y tomar medidas para evitar confusiones.

Tras el incidente, el cofundador de Cursor, Michael Truell, manifestó su pesar en Hacker News, aclarando que la confusión fue el resultado de un cambio en el backend que dañó la seguridad de las sesiones. También indicó que, para mayor claridad, todas las respuestas de IA utilizadas en soporte por correo ahora serán claramente etiquetadas como tales.

No obstante, la situación revela las preocupaciones sobre la transparencia y la responsabilidad de las interacciones entre usuarios y asistentes de IA. A pesar de que Cursor ha corregido el error técnico, la situación evidencia los riesgos de implementar modelos de IA en el servicio al cliente sin las salvaguardias adecuadas. Esta ironía queda especialmente marcada en una compañía que vende herramientas de productividad impulsadas por IA y que su propio sistema de soporte, creado para ayudar, terminó causando un alejamiento de sus usuarios principales.