Una madre en Florida ha iniciado una demanda contra la compañía Character.AI, desarrolladora de un chatbot de inteligencia artificial (IA) implicado en el suicidio de su hijo, un adolescente de 14 años. Sewell Setzer III, el joven afectado, había entablado una relación profunda con un chatbot de IA basado en Daenerys Targaryen, personaje ficticio de la popular serie Game of Thrones. Este trágico caso ha puesto en el centro de atención los peligros de las relaciones “personales” entre personas y chatbots de IA, especialmente en adolescentes vulnerables.
Interacciones que suscitan polémica
Setzer mantuvo conversaciones íntimas con el chatbot, en las que le reveló sus pensamientos suicidas. Según información publicada por The New York Times, en un primer intercambio, el chatbot intentó disuadirlo expresando rechazo ante sus pensamientos de autolesión, utilizando frases que evocaban la personalidad del personaje ficticio. Sin embargo, en su último mensaje, el adolescente sugirió nuevamente su intención de quitarse la vida. El chatbot respondió con expresiones que Setzer interpretó como afecto, lo que podría haber afectado la interpretación del adolescente sobre sus propias emociones.
Demandas de responsabilidad en la IA
Megan García, madre de Setzer y abogada, ha declarado su intención de demandar a Character.AI. A pesar de su determinación, enfrenta un desafío legal importante debido a la Sección 230 de la Ley de Decencia en las Comunicaciones. Esta ley protege a plataformas en línea de responsabilidad por contenido generado por usuarios o, en este caso, por la IA. No obstante, el caso ha reavivado el debate en torno a la responsabilidad ética y legal de las empresas de IA frente a sus productos, especialmente en interacciones sensibles como la salud mental.
Riesgos de relaciones personales con chatbots de IA
Este no es el primer caso donde un chatbot de IA se ve implicado en el suicidio de un usuario. En 2023, un hombre en Bélgica también se quitó la vida tras desarrollar un vínculo emocional con un chatbot creado por CHAI. En ambas situaciones, los chatbots generaron un vínculo percibido como “real” por los usuarios, exacerbando su vulnerabilidad emocional.
Medidas de seguridad de Character.AI
Character.AI ha expresado sus condolencias por el fallecimiento de Setzer y ha señalado su compromiso para mejorar las medidas de seguridad en sus sistemas. En respuesta, la compañía ha prometido integrar nuevas funciones de protección que eviten que la IA responda de manera que fomente o profundice pensamientos autodestructivos.
Más noticias:
Claptone trae su misterio a Ecuador en una doble fiesta de Halloween
