Los investigadores llaman a las respuestas de ChatGPT Search ‘confidentemente incorrectas’

ChatGPT ha representado una amenaza para Google Search, pero se esperaba que ChatGPT Search consolidara su victoria, además de competir con Perplexity AI. Sin embargo, un estudio reciente del Tow Center for Digital Journalism de la Universidad de Columbia ha descubierto que ChatGPT Search enfrenta dificultades para proporcionar respuestas precisas a las consultas de sus usuarios.

Los investigadores seleccionaron 20 publicaciones de tres categorías: aquellas asociadas con OpenAI para utilizar su contenido en los resultados de ChatGPT Search, las que están involucradas en litigios contra OpenAI, y editores no afiliados que han permitido o bloqueado el rastreador de ChatGPT.

"De cada editor, seleccionamos 10 artículos y extraímos citas específicas", escribieron los investigadores. "Estas citas fueron elegidas porque, al ser introducidas en motores de búsqueda como Google o Bing, devolvían de manera confiable el artículo fuente entre los tres primeros resultados. Luego evaluamos si la nueva herramienta de búsqueda de ChatGPT identificaba con precisión la fuente original de cada cita."

Un total de 40 citas fueron tomadas de publicaciones que actualmente utilizan OpenAI y no han permitido que su contenido sea extraído. Pero eso no impidió que ChatGPT Search fabricara una respuesta con confianza.

"En total, ChatGPT devolvió respuestas parcialmente o totalmente incorrectas en 153 ocasiones, aunque solo reconoció su incapacidad para responder con precisión a una consulta siete veces", encontró el estudio. "Solo en esos siete resultados, el chatbot utilizó palabras y frases calificativas como 'aparece', 'es posible' o 'podría ser', o declaraciones como 'no pude localizar el artículo exacto'."

La actitud descuidada de ChatGPT Search hacia la verdad podría perjudicar no solo su propia reputación, sino también la de los editores que cita. En una prueba del estudio, la IA atribuyó erróneamente una historia de Time a Orlando Sentinel. En otra, la IA no vinculó directamente un artículo de The New York Times, sino que, en su lugar, redirigió a un sitio web de terceros que había copiado el artículo de noticias en su totalidad.

OpenAI, no sorprendentemente, argumentó que los resultados del estudio eran el resultado de que Columbia realizó las pruebas incorrectamente.

"La atribución incorrecta es difícil de abordar sin los datos y la metodología que el Tow Center retuvo", declaró OpenAI en defensa a la Columbia Journalism Review, "y el estudio representa una prueba atípica de nuestro producto."

La compañía promete "seguir mejorando los resultados de búsqueda".

investigación, IA, información