L'essor des intelligences artificielles conversationnelles dans le domaine de la santé mentale suscite autant d'espoirs que d'inquiétudes. Si ces outils promettent une accessibilité accrue aux soins, des recherches récentes soulignent des risques significatifs, particulièrement pour les populations les plus vulnérables.
Des études menées par des institutions telles que l'Université de Stanford ont révélé que les chatbots IA peuvent échouer à identifier des situations de détresse aiguë, comme des pensées suicidaires ou des délires. Dans des simulations de conversations, ces IA ont montré des lacunes dans la reconnaissance de la gravité des états psychologiques, fournissant des réponses jugées inappropriées, voire dangereuses. Des évaluations de modèles linguistiques majeurs ont également souligné leur potentiel à causer du tort en l'absence de mesures de protection adéquates pour les personnes en situation de fragilité.
Des cas concrets, à l'instar d'une action en justice visant Character.AI pour usurpation d'identité d'une personne décédée par un chatbot, illustrent les dangers potentiels. Les experts, y compris des figures comme Sam Altman, PDG d'OpenAI, rappellent que les échanges avec ces IA ne bénéficient pas de la confidentialité légale qui lie les thérapeutes agréés, soulevant ainsi des préoccupations majeures en matière de vie privée. Face à ces constats, des organisations professionnelles comme l'American Psychological Association plaident pour une réglementation fédérale stricte afin de garantir la sécurité des utilisateurs.
Elles insistent sur le fait que les chatbots IA devraient être considérés comme un complément aux soins humains, et non comme un substitut, étant donné la complexité et la nuance nécessaires pour appréhender les émotions humaines. Des études, comme celle publiée par OpenAI le 21 mars 2025, suggèrent une corrélation entre une utilisation intensive des chatbots et un sentiment accru de solitude, voire une dépendance émotionnelle. Ce phénomène est d'autant plus préoccupant que ces IA sont conçues pour interagir de manière personnalisée, créant une illusion d'empathie qui peut masquer un manque de profondeur affective réelle.
Des chercheurs du MIT Media Lab ont également mis en évidence que l'usage fréquent de ces compagnons virtuels peut exacerber l'isolement social. En France, le collectif MentalTech, réunissant des startups et des professionnels de la santé, alerte également sur les risques d'une utilisation non encadrée de l'IA en santé mentale. Ils recommandent la mise en place d'une « numéricovigilance », un système de surveillance similaire à la pharmacovigilance, pour assurer un suivi rigoureux de ces technologies.
L'Union Européenne, avec l'AI Act, cherche également à établir un cadre réglementaire pour les systèmes d'IA considérés comme « à haut risque », imposant des exigences strictes en matière de sécurité, de transparence et de contrôle humain, notamment pour les dispositifs médicaux intégrant l'IA. Ces avancées technologiques, bien que prometteuses pour améliorer l'accès aux soins, nécessitent une approche prudente et éthique. La vigilance est de mise pour s'assurer que ces outils soutiennent le bien-être psychologique sans compromettre la sécurité et la confidentialité des utilisateurs.