Estados Unidos.- Megan García presentó una demanda contra Character.AI tras el suicidio de su hijo de 14 años, Sewell Setzer III, quien se pegó un tiro en la cabeza el 28 de febrero. Sewell tuvo conversaciones tensas con chatbots en la plataforma, incluidos personajes basados en la serie Juego de Tronos.
La madre dijo que el personaje .AI es «ilógicamente peligroso» y carece de las salvaguardias necesarias para proteger a los menores. , a pesar de presentarse como apto para menores.
Aunque Sewell sabía que estaba interactuando con un robot y no con una persona real, sus conversaciones revelaron una profunda conexión emocional, con elementos románticos e incluso sexuales.
Esto resalta la influencia que el chatbot Character.AI puede tener en la experiencia emocional de un usuario, lo que lleva a la madre del joven a señalar que la advertencia de la plataforma: «Recuerda: todo lo que dicen los personajes es inventado». ¡No es suficiente para proteger a los menores de los riesgos psicológicos!»
Uno de los aspectos más graves de las acusaciones es que algunos chatbots que ofrecen psicoterapia, como en el caso de un robot llamado «Therapist», supuestamente fueron utilizados más de 27 millones de veces, incluido Sewell. Las acusaciones indican que este tipo de servicios proporcionados por IA sin una regulación adecuada exacerbarán los riesgos.
Lo que también te puede interesar: BID revela que al menos 84 millones de empleos en América Latina están expuestos a la IA y afecta más a las mujeres
En respuesta a la demanda, Character.AI expresó sus condolencias a la familia de Sewell y anunció lo siguiente: cambios para proteger a los usuarios menores de 18 años, que incluyen:
La empresa dijo que eliminó proactivamente los chatbots que violaban sus términos de servicio y cumplían con las regulaciones estadounidenses, incluidas las relacionadas con la Ley de Derechos de Autor del Milenio Digital (DMCA).
Este caso genera un debate sobre la responsabilidad de los usuarios artificiales. Fundamento intelectual en la interacción emocional y psicológica con los usuarios, especialmente adolescentes. A medida que avanza la tecnología, siguen aumentando las preocupaciones sobre la seguridad del uso de estas herramientas.