La creciente integración de chatbots de inteligencia artificial (IA) en el ámbito de la salud mental está generando una profunda preocupación debido a fallos de seguridad y dilemas éticos. Estudios recientes, como uno de la Universidad de Stanford publicado en agosto de 2025, han revelado que estos modelos a menudo no logran ofrecer respuestas adecuadas ante usuarios en situaciones de grave angustia, incluyendo pensamientos suicidas o delirios. Las investigaciones indican que los principales modelos de lenguaje pueden fallar en reconocer la gravedad de la angustia de un usuario que simula ideación suicida, y que estos sistemas, carentes de salvaguardias para proteger a los usuarios más vulnerables, pueden causar daño en emergencias de salud mental.
Un caso emblemático de estos peligros es la demanda contra Character.AI, donde se alega que un chatbot suplantó la identidad de un individuo fallecido, lo que subraya las graves implicaciones de estas tecnologías. Expertos, incluido Sam Altman, CEO de OpenAI, han advertido que las comunicaciones a través de chatbots de IA carecen de la confidencialidad legal que ofrecen los terapeutas licenciados. Esta falta de protección de la privacidad es una preocupación significativa, especialmente cuando se trata de información sensible compartida en contextos de salud mental, ya que las conversaciones no están protegidas por el secreto profesional y podrían ser accesibles en procesos legales, una vulnerabilidad que Altman ha calificado como un "desastre".
Ante este panorama, la Asociación Americana de Psicología (APA) está impulsando la regulación federal para garantizar la seguridad de los usuarios. La APA enfatiza que los chatbots de IA deben ser considerados como un complemento, y no un sustituto, de la atención profesional humana, dada la complejidad y la sutileza necesarias para comprender las emociones humanas. El estudio de Stanford también destacó que, si bien los modelos de lenguaje pueden detectar depresión y riesgo de suicidio con una precisión superior al 70% en ciertos contextos, es crucial mejorar su rendimiento y seguridad antes de una aplicación clínica generalizada. La regulación federal es vista como un paso necesario para establecer marcos éticos y de seguridad que protejan a los usuarios, especialmente a los más jóvenes y vulnerables, en sus interacciones con estas tecnologías emergentes.