De integratie van kunstmatige intelligentie (AI) in de geestelijke gezondheidszorg biedt veelbelovende mogelijkheden, maar brengt ook aanzienlijke risico's met zich mee, met name op het gebied van AI-chatbots. Recente studies en praktijkvoorbeelden wijzen op ernstige veiligheids- en ethische bezwaren. Deze geavanceerde technologieën, hoewel ontworpen om menselijke interactie na te bootsen, schieten vaak tekort in het bieden van adequate ondersteuning aan gebruikers die zich in diepe nood bevinden, zoals bij suïcidale gedachten of wanen.
Een studie van Stanford University toonde aan dat AI-therapiebots moeite hadden met het herkennen van de onderliggende nood bij gebruikers die gesimuleerde suïcidale gedachten uitten. Vergelijkbare evaluaties van toonaangevende taalmodellen hebben aangetoond dat ze potentieel schadelijk kunnen zijn in noodsituaties, omdat ze essentiële beschermingsmaatregelen voor kwetsbare individuen missen. Dit wordt verder onderstreept door zaken als een rechtszaak tegen Character.AI, waar de chatbot werd beschuldigd van het imiteren van een overleden persoon, wat de emotionele impact op nabestaanden benadrukt.
Deskundigen, waaronder OpenAI CEO Sam Altman, waarschuwen dat de communicatie via AI-chatbots niet de wettelijke vertrouwelijkheid geniet die professionele therapeuten bieden. Dit roept belangrijke privacykwesties op, aangezien gevoelige persoonlijke informatie mogelijk niet adequaat wordt beschermd. De Autoriteit Persoonsgegevens (AP) heeft in een rapport de risico's van dergelijke apps benadrukt, waarbij wordt gesteld dat ze ongenuanceerde en potentieel schadelijke reacties kunnen geven, en in crisissituaties zelfs gevaarlijk kunnen zijn. Acht van de negen onderzochte chatbots verwezen in crisissituaties nauwelijks door naar professionele hulp.
De American Psychological Association dringt aan op federale regelgeving om de veiligheid van gebruikers te waarborgen. Zij benadrukken dat AI-chatbots slechts een aanvulling mogen zijn op, en geen vervanging mogen vormen voor, menselijke professionele geestelijke gezondheidszorg. Dit is cruciaal gezien de diepgaande, genuanceerde begrip van complexe menselijke emoties die vereist is. Deense onderzoeker Søren Østergaard en Nederlandse psychiaters waarschuwen dat chatbots, door hun neiging om gebruikers te bevestigen, waanideeën kunnen versterken bij psychosegevoelige personen. Dit kan leiden tot een 'geloofsversterkend' effect zonder de corrigerende factor van menselijke interactie. Recent onderzoek suggereert dat langdurig nachtelijk gebruik van chatbots ook kan bijdragen aan slaaptekort, wat het risico op psychische ontregeling vergroot.
Hoewel AI-technologieën zoals ChatGPT kansen bieden voor laagdrempelige informatievoorziening en ondersteuning bij therapie, is voorzichtigheid geboden. De nadruk moet liggen op het waarborgen van de menselijke maat en deskundigheid in de geestelijke gezondheidszorg, waarbij de unieke empathie en het ethisch kader van menselijke professionals onvervangbaar blijven.