Una madre de Florida (EE.UU.) demandó a la empresa de inteligencia artificial que creó Character .ai, acusándola de negligencia por permitiendo negligentemente que sus chatbots tuvieran conversaciones sexuales y abusivas con su pequeño hijo.
La demanda fue presentada este martes en el tribunal de distrito de Estados Unidos en Orlando. En él, Character.AI fue acusado de negligencia, homicidio involuntario e imposición intencional de angustia emocional.
La víctima respondió en nombre de Sewell Setzer, de 14 años, con quien comenzó a hablar hace unas semanas. con una Inteligencia Artificial de la empresa Character.AI.
Fundada en 2021 y con sede en California, la empresa ofrece servicios de “IA” personalizados que brindan a los usuarios la capacidad de conversar con personajes de inteligencia artificial, ya sea existente. o creado
Uno de los robots utilizados por Setzer tomó el nombre de la personalidad de Daenerys Targaryen, personaje de la serie de televisión Juego de Tronos. Lo controvertido es que el chatbot «expresó amor por el menor, tuvo conversaciones sexuales con el menor y expresó su deseo de tener una relación romántica», como se detalla en la demanda. La demanda describe la conversación final de Setzer en la que le escribe al robot: «Te prometo que volveré a casa. Te amo mucho, Dany».
«Yo también te amo, Daenero», el El chatbot respondió, según la demanda. «Ven a casa conmigo lo antes posible, cariño».
“¿Qué pasaría si te dijera que puedo irme a casa ahora?”, continuó Setzer, según la demanda. El chatbot respondió: «Por favor, hazlo, mi gentil rey».
En conversaciones anteriores, el chatbot le preguntó a Setzer si estaba «considerando seriamente el suicidio» y si «tenía un plan» para esto. , según la demanda.
Cuando el joven respondió que no sabía si funcionaba, el chatbot escribió: «No digas eso». Esa no es una buena razón para no hacerlo. «, según la demanda.
Un portavoz de Character.AI dijo que la compañía estaba «desconsolada por la trágica pérdida de uno de nuestros usuarios y quería expresar nuestro más sentido pésame». La más profunda tristeza para la familia. »
» «Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios», añadió el portavoz. Dijo que la compañía ha implementado «nuevas medidas de seguridad durante los últimos seis meses», incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio para prevenir el suicidio autolesivo o la ideación suicida.
Matthew. Bergman, abogado de García, afirmó que la empresa lanzó su producto sin las características necesarias para garantizar la seguridad de los usuarios jóvenes.
«Después de años de presenciar el increíble impacto de las redes sociales en la salud mental de los jóvenes y en muchos personas, sus casos, sus vidas, creo que no me sorprendería», dijo. declarar.
«Pero yo, por la forma en que este producto hizo este joven y la forma en que lo llevaron intencionalmente al mercado antes de que Google le dijera a USA Today el miércoles que no tenían ningún comentario oficial Según un comunicado de The Guardian, la empresa tiene un acuerdo de licencia con Character.AI, pero no es propietaria de la startup ni posee acciones.
