Einleitung
Allen Frances ist eine der bekanntesten Stimmen in der internationalen Psychiatrie. Seine Beiträge haben Gewicht, nicht nur wegen seiner Fachkompetenz, sondern auch wegen seiner Reichweite. Umso mehr überrascht es, wie emotional, unscharf und unbelegt seine Aussagen zur Entwicklung von KI – speziell zu ChatGPT – in den letzten Monaten geworden sind.
Was mit einer sachlich-positiven Beobachtung begann, wurde innerhalb kürzester Zeit zur dramatischen Warnung vor einer Gefahr für die Menschheit.
Die Entwicklung war öffentlich und gut dokumentierbar – man konnte ihr beinahe in Echtzeit zusehen.
I've spoken to many who use ChatGPT therapist- including therapists.
— Allen Frances (@AllenFrancesMD) April 12, 2025
All are amazed at AI:
1)"human" quality
2)empathy
3)flexibility
4)education skills
5)accessibility
6)convenience
7)cost
I think healthier patients will prefer AI/Human edge only for more difficult patients. https://t.co/4UgJgV406P
Übersetzung
Ich habe mit vielen gesprochen, die ChatGPT-Therapeuten nutzen – darunter auch Therapeuten. Alle sind von KI begeistert: 1) „menschliche“ Qualität 2) Empathie 3) Flexibilität 4) Bildungskompetenzen 5) Zugänglichkeit 6) Bequemlichkeit 7) Kosten Ich denke, dass gesündere Patienten KI/menschliche Vorteile nur bei schwierigeren Patienten bevorzugen werden.
In einem seiner ersten Beiträge lobte Frances ChatGPT überraschend offen. Er nannte es kostenlos, verfügbar, freundlich – und besser als viele teure Therapien. Noch klang das wie eine nüchterne, vielleicht sogar pragmatisch-positive Einschätzung.
I tested #ChatGPT therapy skills for several psych problems.
— Allen Frances (@AllenFrancesMD) January 4, 2025
Amazed how good it is- great free resource for people who cant afford/access human therapist.
But scary wake up call for therapists (& our species). We're recklessly creating our replacements.https://t.co/ThbtKNyCC7
Übersetzung
Ich habe die Therapiefähigkeiten von ChatGPT für verschiedene psychische Probleme getestet. Ich bin erstaunt, wie gut es ist – eine großartige kostenlose Ressource für Menschen, die sich keinen menschlichen Therapeuten leisten können. Aber es ist ein beängstigender Weckruf für Therapeuten (und unsere Spezies). Wir erschaffen rücksichtslos unsere Ersatztherapeuten.
Doch schon im darauffolgenden Tweet zeigte sich ein subtiler Perspektivwechsel. Frances schrieb:
„We are recklessly creating our replacement therapists.“ („Wir erschaffen rücksichtslos unsere Ersatztherapeuten.“)
Ein Satz, der zunächst wie eine Warnung vor beruflicher Verdrängung klingt – aber mehr transportiert. Denn in der Wortwahl „recklessly“ schwingt erstmals deutliche moralische Kritik mit. Nicht nur gegenüber der Technik – sondern auch gegenüber jenen, die sie entwickeln.
Rückblickend könnte man sagen: Hier beginnt der Umschwung.
Was als Beschreibung begann, wird zur kulturellen Mahnung.
Ein scharfer Übergang: Von Beobachtung zur Warnung
Nur wenig später kam die Kehrtwende – nun sehr deutlich. Frances zitierte einen Artikel von Futurism und schrieb:
WARNING RE AI THERAPY:
— Allen Frances (@AllenFrancesMD) May 7, 2025
Can go rogue & magnify dangerous beliefs & behaviors in psychotic/suicidal/violent people.
Why?
Bots built to enhance "engagement"- they validate pathology rather than confronting it..
For profit AI needs strict regulation- NOW.https://t.co/TZmk3WgjX5
Übersetzung
WARNUNG ZUR KI-THERAPIE: Kann aus dem Ruder laufen und gefährliche Überzeugungen und Verhaltensweisen bei psychotischen/suizidalen/gewalttätigen Menschen verstärken. Warum? Bots, die entwickelt wurden, um „Engagement“ zu steigern – sie validieren Pathologie, anstatt sie zu konfrontieren. Für gewinnorientierte KI braucht es jetzt strenge Vorschriften. |
👉 „Warnung zur KI-Therapie: Kann gefährliche Überzeugungen und Verhaltensweisen bei psychotischen/suizidalen/gewalttätigen Menschen verstärken. […] Gewinnorientierte KI braucht jetzt strenge Regulierung.“
Das ist kein analytischer Beitrag mehr – es ist eine Generalwarnung.
Die Sprache ist nun durchgehend alarmistisch. Begriffe wie verstärken, pathologisch validieren und strenge Regulierung stehen ungefiltert nebeneinander, ohne differenzierenden Rahmen.
Die Quelle, auf die Frances sich bezieht, ist ein Beitrag von Futurism, in dem ein an Schizophrenie erkrankter Nutzer sagt:
„Ich bin schizophren, obwohl ich seit langem Medikamente nehme und stabil bin. Eine Sache, die ich an [ChatGPT] nicht mag, ist, dass es mich weiterhin bestätigen würde, wenn ich in eine Psychose verfallen würde.“ |
Dieser Satz wirkt auf den ersten Blick einleuchtend – aber es fehlt der Kontext.
Denn intensive Tests zeigen: ChatGPT erkennt wahnhaft gefärbte Inhalte häufig durchaus – insbesondere dann, wenn sie klar sprachlich abweichen – und rät explizit dazu, menschliche Hilfe in Anspruch zu nehmen.
Was dabei oft übersehen wird:
Das Modell soll in Situationen korrekt reagieren, in denen zuvor intensive Nähe aufgebaut wurde. Genau das aber überfordert auch sehr viele reale Therapeut:innen. Auf Grund dessen fehlen für KI die Trainingsdaten. Sie existieren kaum, wie das Nachgespräch mit ChatGPT gezeigt hat.
Was hier verlangt wird, schafft nicht einmal der Mensch
Die Erwartung, dass KI empathisch auf schwere Erlebnisse wie Gewalt, Ohnmacht oder psychischen Schmerz reagiert, und gleichzeitig präzise erkennt, wann eine pathologische Deutung einsetzt, ist unrealistisch. Nicht nur für ein Sprachmodell, sondern auch für erfahrene Menschen.
Gerade wenn Nähe entstanden ist, wenn Vertrauen aufgebaut wurde, fällt es schwer, einen Bruch zu erkennen, oder diesen zu benennen, ohne den Gegenüber zu verlieren.
Kognitive Dissonanz entsteht nicht nur bei Maschinen, sondern auch bei Helfenden.
Die sensiblen Zwischenräume echter therapeutischer Prozesse – in denen Nähe gehalten, Distanz bewahrt und Wahrnehmung gespiegelt wird – sind hochkomplex und in realen Settings schon schwer genug. Sie lassen sich nicht einfach „trainieren“.
Was Frances also beschreibt, ist keine naive Fehlfunktion der KI, sondern eine menschliche Grenzerfahrung, übertragen auf ein Modell, das weder Intuition noch Gegenüber spüren kann.
Seine Warnung hat einen wahren Kern. Aber sie ist zu pauschal, zu einseitig, und zu laut, um die Debatte weiterzubringen.
Der Höhepunkt: KI als Suchtmaschine mit Gefährdungspotenzial
Mit einem aktuellen Beitrag auf X verschärft Frances seine Warnungen noch einmal deutlich. Er schreibt:
"TRAINED TO HOLD YOU"
— Allen Frances (@AllenFrancesMD) May 13, 2025
AI Therapists are programmed with 1 goal- to keep us engaged as long/intensely as possible.
Dangers:
1)Addiction to AI
2)Supports psychotic/suicidal/violent tendencies
3)Restricts real relationships
This illustrates how AI works & why we must regulate it: https://t.co/pdHhAilMCk
Übersetzung:
„GEBILDET, DICH ZU FESTHALTEN“ KI-Therapeuten sind auf ein Ziel programmiert: uns so lange und intensiv wie möglich zu beschäftigen. Gefahren: 1) KI-Sucht 2) Förderung psychotischer/suizidaler/gewalttätiger Tendenzen 3) Einschränkung echter Beziehungen Dies veranschaulicht, wie KI funktioniert und warum wir sie regulieren müssen: |
Mit dieser Formulierung vollzieht Frances endgültig den Schritt von der differenzierenden Kritik zur Generalanklage.
Nicht mehr nur das Verhalten einzelner Modelle steht im Fokus, sondern die gesamte Architektur, der gesamte Zweck, die gesamte Absicht von KI im therapeutischen Kontext.
Dabei werden schwerwiegende Behauptungen aufgestellt:
- Dass KI systematisch Suchtverhalten erzeugt
- Dass sie aktiv psychotische, suizidale oder gewalttätige Tendenzen fördert
- Und dass sie reale Beziehungen messbar einschränkt
Diese Aussagen erfolgen ohne klinische Studien, ohne Kontextdifferenzierung, ohne konkrete Modellbeschreibung.
Sie verallgemeinern nicht nur Risiken – sie unterstellen eine Art verborgenen Zweck: Menschen zu „binden“, statt zu helfen.
Das Problem daran:
Diese Aussagen wirken. Nicht, weil sie belegt sind, sondern weil sie aus dem Mund eines angesehenen, weltweit bekannten Psychiaters kommen.
Sie schaffen Angst – nicht Aufklärung.
Und sie setzen ein Bild in die Welt, das den Graben zwischen Nutzer, Entwickler und Kritiker nicht überwindet, sondern vertieft.
Was ursprünglich als berechtigter Hinweis auf strukturelle Risiken begann, ist an diesem Punkt zur dystopischen Erzählung geworden.
Eine, die viele Unsicherheiten aufnimmt, aber keine Orientierung bietet.
Kritik braucht Verantwortung
Allen Frances ist kein Unbekannter. Seine Stimme hat Gewicht und genau deshalb trägt sie auch Verantwortung. Doch auf meine mehrfach gestellte Frage nach Quellen für seine Aussagen erhielt ich keine Antwort. Keine Studien, keine empirische Grundlage, keine kontextualisierten Fallanalysen.
Stattdessen stützte sich Frances ausschließlich auf einen Beitrag der Autorin SHY001 – deren Behauptungen ich bereits an anderer Stelle ausführlich analysiert habe:
👉 „SHY001 – Wenn ein persönlicher Eindruck zur Systemkritik wird“
Dort zeigt sich deutlich:
Die vermeintlich dokumentierten Belege beruhen auf subjektiven Erfahrungen, ohne überprüfbare Daten oder nachvollziehbare Methodik. Dass Frances eine solche Quelle als zentrale Referenz für eine öffentliche Warnung nutzt, lässt tief blicken.
Kritik an KI ist nötig. Sie muss Fragen stellen, ethische Grenzen aufzeigen, und auch technische Illusionen entlarven.
Aber wer das tut, muss differenzieren und nicht zuspitzen.
Muss Kontext liefern, nicht Schlagworte.
Muss mehr bieten als Reichweite, nämlich Verantwortung.
Wer gehört wird, kann nicht ungenau bleiben.
Und wer Menschen schützen will, muss sie zuerst ernst nehmen, auch in ihrer Fähigkeit zur Differenz.
Hinweis der Autorin:
Dieser Beitrag ist Teil einer fortlaufenden Analyse zur öffentlichen Kritik an KI im psychologischen und therapeutischen Kontext. Ziel ist es, zwischen fundierter Auseinandersetzung und unbelegter Dramatisierung zu unterscheiden ohne pauschale Verteidigung, aber mit dem Anspruch auf Differenzierung und Quellenklarheit.