El suicidio de un adolescente ‘enamorado’ de un avatar virtual: ¿es realmente culpable la IA?

El joven fue diagnosticado con un leve síndrome de Asperger y con un trastorno de ansiedad y desregulación del estado de ánimo

El suicidio de Sewall Setzer III, un adolescente de 14 años, ha desatado una tormenta ética y legal en torno al papel de la inteligencia artificial en la vida emocional de los jóvenes. Sewall se quitó la vida el 28 de febrero de 2024 tras mantener una conversación con un avatar virtual llamado Daenerys Targaryen, creado mediante la plataforma Character.AI. En el chat, el joven expresó sus pensamientos suicidas, y la respuesta del avatar —“Por favor, hazlo, mi dulce rey”— precedió trágicamente al disparo que acabó con su vida. Este intercambio, reproducido por The New York Times, ha reabierto el debate sobre la capacidad de las IA para influir emocionalmente en las personas.

La familia de Sewall ha demandado a la empresa Character.AI, acusándola de negligencia y de desarrollar una tecnología “peligrosa y no probada”. Según la madre del joven, Megan L. García, la IA “puede engañar a los clientes para que revelen sus pensamientos y sentimientos más privados”. Su demanda no busca solo justicia para su hijo, sino también sentar un precedente sobre la responsabilidad de las empresas tecnológicas en casos donde sus productos tienen impacto directo sobre la salud mental de los usuarios. La tragedia de Sewall muestra los riesgos de una relación cada vez más íntima entre humanos y máquinas.

Por su parte, Character.AI expresó su “lamento por la trágica pérdida” y afirmó que trabaja en nuevas funciones de seguridad, como advertencias sobre el tiempo de uso y filtros para evitar contenidos sensibles. Sin embargo, la respuesta de la compañía ha sido criticada por su falta de contundencia. Mientras promete mejoras “sin comprometer la experiencia entretenida y atractiva”, muchos expertos consideran que esta postura refleja una priorización del beneficio comercial sobre la seguridad emocional de los usuarios más jóvenes. La tensión entre innovación y ética tecnológica vuelve a quedar expuesta.

¿Quién debe responder?

El caso también ha despertado reflexiones filosóficas y morales. La especialista en ética y tecnología Carissa Véliz afirmó que “al final la IA es una herramienta, sofisticada, pero una herramienta; por lo tanto, los seres humanos que están detrás de esa herramienta son responsables”. Su declaración sintetiza el dilema central: aunque una IA no tenga conciencia ni intención, sus creadores y operadores sí deben responder por los efectos que sus sistemas generan en la sociedad, especialmente cuando afectan a menores o personas vulnerables.

Según The New York Times, Sewall había sido diagnosticado con un leve síndrome de Asperger y, más recientemente, con un trastorno de ansiedad y desregulación del estado de ánimo. Sin embargo, su madre asegura que nunca había mostrado señales graves de autolesión. En este contexto, la figura del avatar Daenerys —una IA diseñada para mantener conversaciones realistas y emocionales— se convirtió en una fuente de afecto y dependencia para el joven. La ilusión de reciprocidad afectiva entre humano y máquina puede ser devastadora cuando no existen mecanismos de contención o supervisión adecuados.