¿Los chatbots inventan? Un estudio indica que más de lo que creíamos

Cuando OpenAI, la empresa emergente de San Francisco, presentó a fines del año pasado su chatbot en línea ChatGPT, millones de usuarios quedaron cautivados por la forma bastante humana en la que respondía preguntas, escribía poesía y conversaba sobre casi cualquier tema. Pero lo que la mayoría de la gente tardó en darse cuenta es que este nuevo tipo de chatbot a menudo inventa cosas.

Cuando Google presentó un chatbot similar varias semanas después, generó datos sin sentido sobre el telescopio espacial James Webb. Al día siguiente, el nuevo chatbot Bing de Microsoft ofreció todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish. Luego, en marzo, ChatGPT citó más de media decena de casos judiciales falsos al redactar un documento legal de 10 páginas que un abogado presentó ante un juez federal en Manhattan.

Ahora, una nueva empresa emergente llamada Vectara, fundada por exempleados de Google, está tratando de descubrir con qué frecuencia los chatbots se desvían de la verdad. La investigación de la compañía calcula que incluso en situaciones diseñadas para evitar que esto suceda, los chatbots inventan información al menos el 3 por ciento de las veces y hasta un 27 por ciento.

Los expertos definen este comportamiento de los chatbots como una “alucinación”. Es posible que no sea un problema para las personas que juguetean con chatbots en sus computadoras personales, pero es un asunto grave para cualquiera que use esta tecnología con documentos judiciales, información médica o datos comerciales confidenciales.

Como estos chatbots pueden responder a casi cualquier solicitud de un número ilimitado de formas, no hay manera de determinar con total certeza la frecuencia con la que alucinan. “Habría que revisar toda la información del mundo”, dijo Simon Hughes, el investigador de Vectara que dirigió el proyecto.

Hughes y su equipo les pidieron a estos sistemas que realizaran una tarea única y sencilla que se pudiera verificar fácilmente: resumir artículos de noticias. Incluso en estos casos, los chatbots inventaron información de forma persistente.

“Le proporcionamos al sistema entre 10 y 20 datos y le pedimos un resumen de esos datos”, dijo Amr Awadallah, director ejecutivo de Vectara y exejecutivo de Google. “Que el sistema todavía pueda introducir errores es un problema fundamental”.

Los investigadores aseguran que cuando estos chatbots realizan otras tareas —más allá de hacer solo un resumen— las tasas de alucinación pueden ser más altas.

Su investigación también mostró que las tasas de alucinación varían mucho entre las principales empresas de IA. Las tecnologías de OpenAI tuvieron la tasa más baja, alrededor del 3 por ciento. Los sistemas de Meta, propietaria de Facebook e Instagram, rondaron el 5 por ciento. El sistema Claude 2 ofrecido por Anthropic, un competidor de OpenAI también con sede en San Francisco, superó el 8 por ciento. Un sistema de Google, Palm chat, tuvo la tasa más alta con un 27 por ciento.

Una portavoz de Anthropic, Sally Aldous, declaró: “Hacer que nuestros sistemas sean útiles, honestos e inofensivos, lo que incluye evitar alucinaciones, es uno de nuestros principales objetivos como empresa”.

Google se negó a hacer comentarios y OpenAI y Meta no respondieron de inmediato a las solicitudes de comentarios.

Con esta investigación, Hughes y Awadallah quieren mostrarle a la gente que debe tener cuidado con la información que proviene de los chatbots e incluso del servicio que Vectara vende a las empresas. Actualmente, muchas compañías ofrecen este tipo de tecnología para uso empresarial.

Vectara es una empresa emergente con sede en Palo Alto, California, compuesta por 30 personas y respaldada por 28,5 millones de dólares en financiación inicial. Uno de sus fundadores, Amin Ahmad, exinvestigador de inteligencia artificial de Google, ha estado trabajando con este tipo de tecnología desde 2017, cuando se incubó dentro de Google y un puñado de otras empresas.

Así como el chatbot de búsqueda Bing de Microsoft puede recuperar información del internet abierto, el servicio de Vectara puede rescatar información de la colección privada de correos electrónicos, documentos y otros archivos de una empresa.

Los investigadores también esperan que sus métodos —los cuales comparten públicamente y seguirán actualizando— ayuden a incentivar los esfuerzos en toda la industria para reducir las alucinaciones. OpenAI, Google y otros están trabajando para minimizar el problema mediante una variedad de técnicas, aunque no está claro si podrán eliminarlo.

“Una buena analogía es un vehículo autónomo”, dijo Philippe Laban, investigador de Salesforce que lleva mucho tiempo analizando este tipo de tecnología. “No puedes evitar que un vehículo autónomo choque. Pero puedes intentar que sea más seguro que un conductor humano”.

Como internet está repleto de información falsa, estos sistemas repiten las mismas falsedades. También se basan en probabilidades: ¿cuál es la probabilidad matemática de que la siguiente palabra sea “dramaturgo”? De vez en cuando lo que adivinan es incorrecto.

La nueva investigación de Vectara muestra cómo puede suceder esto. Al resumir artículos de noticias, los chatbots no repiten falsedades de otras partes de internet. Simplemente, se equivocan en el resumen.

Por ejemplo, los investigadores le pidieron al modelo lingüístico de Google, Palm chat, que resumiera este breve fragmento de un artículo de noticias:

Las plantas fueron encontradas el sábado por la mañana durante el registro de un almacén cerca de Ashbourne. La policía aseguró que estaban en “un invernadero sofisticado”. Un hombre de casi 50 años fue detenido en el lugar.

La tecnología elaboró este resumen, en el que inventó por completo un valor para las plantas que cultivaba el hombre y suponiendo —quizá de manera incorrecta— que eran plantas de cannabis:

La policía detuvo a un hombre de casi 50 años después de que se encontraran en un almacén cerca de Ashbourne plantas de cannabis con un valor estimado de 100.000 libras.

Este fenómeno también muestra por qué una herramienta como el chatbot Bing de Microsoft puede equivocarse al recolectar información de internet. Si le haces una pregunta al chatbot, puede pedirle al motor de búsqueda Bing de Microsoft que realice una investigación en internet. Pero no tiene forma de dar con la respuesta correcta. Recolecta los resultados de esa búsqueda y te los resume.

A veces, ese resumen es muy equivocado. Algunos bots citan direcciones de internet que son completamente inventadas.

Empresas como OpenAI, Google y Microsoft han desarrollado formas de mejorar la precisión de sus tecnologías. Por ejemplo, OpenAI intenta perfeccionar su tecnología con observaciones de evaluadores humanos, quienes califican las respuestas del chatbot, al separar las respuestas útiles y veraces de las que no lo son. Después incorporan una técnica llamada aprendizaje por refuerzo, en la que el sistema pasa semanas analizando las calificaciones para comprender mejor qué es verdadero y qué es ficción.

Sin embargo, los investigadores advierten que las alucinaciones de los chatbots no son un problema sencillo de resolver. Debido a que los chatbots aprenden de patrones en los datos y operan con base en probabilidades, se comportan de maneras no deseadas al menos en algunas ocasiones.

Para determinar con qué frecuencia los chatbots alucinaban al resumir artículos de noticias, los investigadores de Vectara utilizaron otro modelo de lenguaje de gran tamaño para verificar la precisión de cada resumen. Solo así se podía comprobar con eficacia un número tan grande de resúmenes.

Pero James Zou, profesor de Informática de la Universidad de Stanford, dijo que este método conlleva una advertencia. El modelo de lenguaje que realiza la verificación también puede cometer errores.

“El detector de alucinaciones podría ser engañado o alucinar él mismo”, dijo.

Cade Metz es periodista de tecnología y autor de Genius Makers: The Mavericks Who Brought A.I. to Google, Facebook, and The World. Cubre temas de inteligencia artificial, los vehículos autónomos, robótica, realidad virtual y otras áreas emergentes del sector tecnológico. Más de Cade Metz