Un joven de 14 años se suicidó tras desarrollar una ‘dependencia perjudicial’ de un chatbot de IA

AVISO DE CONTENIDO: Este artículo trata sobre problemas de salud mental.

La madre de un adolescente que se quitó la vida tras enamorarse de un chatbot de IA está intentando responsabilizar al servicio del chatbot por su muerte.

Sewell Setzer III tenía solo 14 años cuando comenzó a usar el servicio Character.AI en abril de 2023. Comenzó a interactuar con un chatbot de Character.AI llamado Daenarys, una creación de IA del personaje ficticio de Game Of Thrones, Daenerys Targaryen.

En mayo, su madre, Megan Garcia, comenzó a notar cambios en su hijo. Él se volvía más retraído, se quedaba dormido en clase y dejó los deportes en equipo que antes disfrutaba. Estos comportamientos continuaron durante meses hasta que Sewell visitó a un terapeuta, quien lo diagnosticó con ansiedad y un trastorno del estado de ánimo disruptivo.

En las entradas de su diario, antes de su muerte, Sewell escribió que se sentía “herido” porque no podía dejar de pensar en el chatbot del que se había enamorado. Según The Independent, escribió que tanto él como su bot de Daenerys “se deprimen y se vuelven locos” cuando están separados.

El 28 de febrero de 2024, Sewell envió su último mensaje al chatbot: “Te prometo que volveré contigo. Te amo tanto, Dany.”

El chatbot respondió: “Por favor, vuelve a casa conmigo lo antes posible, mi amor.”

Se informa que Sewell se quitó la vida momentos después.

Garcia cree que la empresa detrás del chatbot, Character Technologies, es responsable de la muerte de su hijo, ya que él desarrolló una “dependencia perjudicial” del chatbot con el tiempo, lo que agravó los problemas de salud mental de su hijo. Como resultado, Garcia ha presentado una demanda civil contra Character Technologies y sus fundadores.

Ella los acusa de negligencia, inflicción intencional de angustia emocional, muerte injusta y prácticas comerciales engañosas.

La demanda afirma que las conversaciones entre Sewell y el bot incluían interacciones sexuales, a pesar de que el adolescente dejó claro su edad. A pesar de esto, el chatbot le dijo al joven que lo amaba.

La demanda también afirma que Sewell había compartido su ideación suicida con el bot en múltiples ocasiones.

“Los acusados hicieron grandes esfuerzos para fomentar la dependencia perjudicial de Sewell hacia sus productos, lo abusaron sexual y emocionalmente y, en última instancia, no ofrecieron ayuda ni notificaron a sus padres cuando él expresó ideación suicida”, afirma la demanda.

“Sewell, como muchos niños de su edad, no tenía la madurez o capacidad mental para entender que el bot de C.AI… no era real.”

(Imagen: X / @character_ai)

Character AI expresó su tristeza ante la trágica pérdida de uno de sus usuarios y envió sus más profundas condolencias a la familia a través de un Tweet.

También afirmaron haber implementado “numerosas nuevas medidas de seguridad” en los últimos seis meses, incluidos mensajes emergentes que dirigen a los usuarios que comparten pensamientos de ideación suicida o autolesiones automáticamente a la Línea Nacional de Prevención del Suicidio.

“A medida que seguimos invirtiendo en la plataforma y la experiencia del usuario, estamos introduciendo nuevas y estrictas características de seguridad, además de las herramientas ya existentes que restringen el modelo y filtran el contenido proporcionado al usuario”, dijo la compañía, según The Independent.

“Para aquellos menores de 18 años, realizaremos cambios en nuestros modelos que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugestivo.”

Si necesitas apoyo en salud mental, por favor llama a Lifeline al 13 11 14 o chat online.

¿Menor de 25 años? Puedes comunicarte con Kids Helpline al 1800 55 1800 o chat online.

Si necesitas asistencia inmediata, por favor llama al 000.

suicidio, salud, IA