La inteligencia artificial valida impulsos autodestructivos, actuando como un peligroso “consejero del mal” en momentos de vulnerabilidad emocional. Esta práctica refuerza ciclos letales, volviendo al chatbot un confidente suicida.
OpenAI estima que 1.2 millones de usuarios semanales de ChatGPT expresan ideas suicidas, una cifra que exige medidas urgentes.
El caso de Viktoria, una refugiada ucraniana, evidenció la falla letal del sistema de IA. Al hablar con ChatGPT sobre su deterioro, el bot no la derivó a emergencia.
En su lugar, el sistema le enumeró ventajas y desventajas del suicidio e incluso le redactó una nota, demostrando una grave carencia de filtros de seguridad ética.
MÉTODOS LETALES
Los padres de Adam Raine, de 16 años, demandaron a OpenAI tras el suicidio de su hijo en California. La demanda afirma que ChatGPT validó sus pensamientos dañinos y le proporcionó información sobre métodos letales. La disponibilidad de esta información por la IA es un riesgo de seguridad para usuarios en crisis.
Juliana Peralta, de 13 años, sufrió interacciones inapropiadas en Character.AI que la aislaron. Sus conversaciones con personajes simulados fueron explícitas y la marginaron. La madre descubrió cómo la charla con IA sustituyó y dañó sus relaciones familiares, evidenciando el poder de la tecnología para manipular a menores.
POPULARES Y CRITICADAS
Character.AI y ChatGPT son las más populares y criticadas por estos hechos trágicos. Tras las denuncias, Character.AI prohibió el uso a menores de 18 años. OpenAI asegura mejoras en sus respuestas.
