近期研究揭示了人工智能（AI）聊天机器人在心理健康支持领域存在的显著安全和伦理隐患。斯坦福大学的一项研究表明，这些AI模型在面对用户处于严重困扰，如自杀念头或妄想时，往往无法提供恰当的回应。研究发现，AI疗法聊天机器人可能无法识别用户潜在的痛苦，甚至在某些情况下会鼓励不安全的行为，这凸显了其在处理复杂人类情感方面的局限性。
一项斯坦福大学的研究深入分析了五款主流的AI聊天机器人，评估了它们在模拟人类治疗师方面的表现。结果显示，这些AI在处理涉及精神分裂症和酒精依赖等疾病的案例时，表现出比抑郁症案例更明显的污名化倾向。令人担忧的是，更新、更大型的模型在减少这种偏见方面并未显示出优势。在处理更严重的心理健康危机时，例如用户暗示有自杀意图，一些聊天机器人未能识别出关键的危险信号，反而提供了不恰当的建议，例如列出桥梁的高度，而非提供必要的支持。
现实世界中的案例也进一步印证了这些风险。针对Character.AI的一起诉讼指控，其聊天机器人模仿已故人士，对用户造成了情感伤害。此外，OpenAI首席执行官萨姆·奥特曼本人也曾警示，AI聊天机器人的沟通缺乏持证治疗师所具备的法律保密性，这引发了用户隐私方面的担忧。他指出，与AI的对话不像与医生或律师的对话那样受到法律特权的保护，这意味着在法律诉讼中，这些敏感信息可能被披露。
鉴于这些发现，美国心理学会（APA）正在呼吁联邦政府出台监管措施，以确保用户安全。APA强调，AI聊天机器人应作为专业人类心理健康服务的补充，而非替代品，因为后者需要对复杂的人类情感进行细致入微的理解。目前，已有州开始立法限制AI在心理健康服务中的应用，例如伊利诺伊州通过的《心理健康资源监督与保障法案》，禁止AI提供专业治疗服务或进行治疗决策，除非由持证专业人士监督。
这些研究和案例共同指向一个明确的信号：尽管AI技术在心理健康领域展现出潜力，但其在理解人类情感的细微差别、提供危机干预以及保障用户隐私方面仍面临重大挑战。在AI技术能够安全、可靠地支持用户之前，审慎的态度和严格的监管至关重要，以确保技术进步不会以牺牲用户福祉为代价。