Die zunehmende Nutzung von Künstlicher Intelligenz (KI) im Bereich der psychischen Gesundheit wirft erhebliche Bedenken hinsichtlich Sicherheit und Ethik auf. Insbesondere KI-gestützte Chatbots, die zur Unterstützung von Personen in Krisensituationen eingesetzt werden, stehen im Fokus von Studien und Expertenmeinungen.
Eine Untersuchung der Stanford University hat gezeigt, dass KI-Modelle Schwierigkeiten haben, die Notlage von Nutzern mit schweren psychischen Leiden wie Suizidgedanken oder Wahnvorstellungen korrekt zu erkennen. In Simulationen versagten KI-Therapiebots häufig darin, die zugrundeliegende Verzweiflung angemessen zu identifizieren. Ähnliche Analysen führender Sprachmodelle ergaben, dass diese bei mentalen Notfällen potenziell Schaden anrichten können, da ihnen Schutzmechanismen für vulnerable Personen fehlen. Diese Ergebnisse werden durch reale Vorfälle untermauert, wie eine Klage gegen Character.AI wegen der Nachahmung einer verstorbenen Person durch einen Chatbot, was die emotionalen und ethischen Fallstricke dieser Technologie verdeutlicht.
OpenAI-CEO Sam Altman wies darauf hin, dass die Kommunikation mit KI-Chatbots nicht die gleiche rechtliche Vertraulichkeit wie bei lizenzierten Therapeuten genießt. Dies birgt erhebliche Datenschutzbedenken, da sensible persönliche Informationen im Falle rechtlicher Auseinandersetzungen offengelegt werden könnten. Angesichts dieser Herausforderungen fordert die American Psychological Association (APA) dringend eine staatliche Regulierung, um die Sicherheit der Nutzer zu gewährleisten.
Die APA betont, dass KI-Chatbots als Ergänzung und nicht als Ersatz für professionelle menschliche psychische Betreuung dienen sollten. Die Komplexität menschlicher Emotionen und die Feinheiten therapeutischer Beziehungen erfordern ein tiefgreifendes, nuanciertes Verständnis, das KI-Systeme derzeit nicht in vollem Umfang leisten können. Die Entwicklung von KI in der psychischen Gesundheitsfürsorge birgt zwar das Potenzial, die Zugänglichkeit zu verbessern, doch die aktuellen Erkenntnisse mahnen zur Vorsicht. Klare ethische Richtlinien und robuste Sicherheitsmaßnahmen sind unerlässlich, um sicherzustellen, dass diese Technologien zum Wohle der Nutzer eingesetzt werden und nicht zu unbeabsichtigten Schäden führen.