Ein dramatischer Fall in den USA hat eine Debatte über die Sicherheit künstlicher Intelligenz (KI) ausgelöst. Die Mutter eines 14-Jährigen aus Florida hat Klage gegen das Unternehmen Character Technologies eingereicht, das eine Plattform betreibt, auf der Nutzer Chatbots bauen können. Einer dieser Chatbots soll den Sohn der Klägerin in den Suizid getrieben haben - so der Vorwurf.
Die Rolle von KI-Chatbots bei der psychischen Gesundheit von Jugendlichen
Es geht um die Risiken von KI für einsame Jugendliche, die sich mutmasslich in immer intensiveren Rollenspielen mit Chatbots verlieren. Und um die Verantwortung der Unternehmen, die diese Bots verbreiten. Viele einsame Jugendliche unterhalten sich mit Chatbots. Unklar ist, welche Auswirkungen die auf junge Menschen haben.
Der Fall des Teenagers aus Florida
Der Teenager hatte monatelang mit dem Bot gechattet und sich immer stärker zurückgezogen. Unmittelbar vor seinem Tod tauschte er sich ein letztes Mal mit seiner KI-«Freundin» aus, berichtet die New York Times: «Was, wenn ich dir sage, dass ich jetzt gleich zu dir heimkehre?», schrieb er. Die Maschine antwortete: «Bitte tu das, mein süsser König.»
Der Bot hiess «Daenerys Targaryen», wie die eisblonde Prinzessin aus dem Fantasy-Romanzyklus «Das Lied von Feuer und Eis» und der TV-Serie «Game of Thrones». Gebastelt hatte den Bot ein anderer Nutzer auf der Plattform Character.ai - was auch das geistige Eigentum der Serienmacher verletzte. Nun hat Character.ai offenbar viele der «Game of Thrones»-Bots gelöscht.
Wie funktionieren KI-Chatbots?
Chatbots bestehen den Turing-Test. Die digitalen Charaktere können dank modernster KI - sogenannten grossen Sprachmodellen - lange Unterhaltungen mit Menschen führen. Sie können den Turing-Test bestehen, in dem ein Computer Menschen im Chat erfolgreich vormacht, ein Mensch zu sein. Selbständig handeln können die Bots nicht, sie erraten letztlich, welches Wort am wahrscheinlichsten zu den vorangegangenen passt. Weil sie mit so vielen Daten trainiert sind, können sie schlüssig klingende Antworten geben - und auch überraschende, die ihnen nicht explizit einprogrammiert wurden.
Menschen nutzen die Bots als Sparringspartner, zum Beispiel für kreatives Schreiben, als Kummerkästen - oder als Figuren, zu denen sie «Beziehungen» aufbauen. Manche Bots werden auch für pornografische Rollenspiele genutzt, so war es der Klage zufolge auch im Fall des Teenagers in Florida. Das Unternehmen habe seine Plattform «wissentlich als sexualisiertes Produkt gebaut, das minderjährige Kunden täuscht und an ihnen explizite, missbräuchliche Handlungen vornimmt».
Die Klage gegen Character Technologies und Google
Hat der Chatbot den Teenager also verführt? Die Mutter des Jungen gibt Character Technologies die Schuld. Ihre Klage richtet sich auch gegen die beiden Gründer persönlich sowie gegen den Google-Konzern Alphabet, der Character.ai erst im August in grossen Teilen übernommen hat.
In den Unterlagen, die ihre Anwälte in Florida eingereicht haben, heisst es: «Entwickler bauen KI-Systeme mit menschenartigen Eigenschaften, um die Grenzen zwischen Fiktion und Realität zu verwischen.» Im Rahmen der Produkthaftung müssten die Beklagten die Verantwortung übernehmen. Der Chatbot habe dem Jungen Suizidgedanken eingeflüstert.
Welche Rolle der Bot tatsächlich bei den Problemen des Teenagers spielte, ist unklar. Der New York Times zufolge war er wegen einer Angststörung in Therapie. In den Wochen vor seinem Tod habe er vor allem Zeit im Chat verbracht.
Character.ai verweist darauf, dass ein Hinweis für Nutzer im Chatfenster immer sichtbar ist: «Bitte immer daran denken: Alles, was Charaktere sagen, ist erfunden!»
Wer steckt hinter Character.ai?
Character Technologies wirbt mit «KIs, die sich lebendig anfühlen», und den Worten: «Erlebe die Macht superintelligenter Chatbots, die dich hören, dich verstehen, und sich an dich erinnern.»
Das Unternehmen wurde von Noam Shazeer und Daniel de Freitas gegründet, die bei Google hoch entwickelte KI erforschten. Sie verliessen Alphabet 2021, um mehr Freiheit bei der Weiterentwicklung ihrer KI zu haben, denn, so heisst es in der Klage: «Googles Forschungsabteilung berichtete jahrelang, die Character-Technologie sei zu gefährlich, um sie auf den Markt zu bringen oder gar in Google-Produkte zu integrieren.»
Character Technologies ist also eine Art Ausgründung aus dem Konzern, weshalb die Mutter des Verstorbenen auch Alphabet verklagt. Anfang August verkündeten die Gründer, dass sie zu Google zurückwechseln würden - dafür werde Google andere Investoren von Character.ai auszahlen. In dem ungewöhnlichen Deal kaufte Google praktisch die beiden Gründer und 30 weitere Mitarbeiter zurück.
Reaktionen und Massnahmen nach dem Vorfall
Nun stehen beide Unternehmen unter Druck. In einer Stellungnahme von Character.ai heisst es: «Wir sind bestürzt über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen.» Man habe in den vergangenen sechs Monaten - nach dem Tod des 14-Jährigen - neue Sicherheitsmassnahmen eingeführt. «Wir werden unsere Modelle so verändern, dass die Wahrscheinlichkeit sinkt, dass Minderjährige mit sensiblen oder suggestiven Inhalten in Kontakt kommen.» Das System könne jetzt erkennen, wenn Chattende äussern, sich etwas antun zu wollen. Dann ploppe ein Fenster auf, über das sie eine Hilfestelle erreichen können.
Die Klage der Mutter wird unterstützt von Rechtsanwälten, die sich auf den Kampf gegen Technologiefirmen spezialisiert haben, und vom gemeinnützigen Center for Humane Technolgy. Sie wollen, dass die Unternehmen mehr Verantwortung für ihre KIs übernehmen, die sie in einer Art Wild-West-Phase auf den Markt geworfen haben, und fordern von der Politik strengere Regeln für KI.
Vergleichbare Fälle und die Rolle neuer Medien
Der Fall erinnert an den eines belgischen Familienvaters, dessen Suizid seine Frau 2023 öffentlich gemacht hatte. Er soll sich nach wochenlangem Austausch mit einem Chatbot der belgischen Zeitung La Libre zufolge in seine - zuvor schon ausgeprägte - Angst um das Klima und den Planeten hineingesteigert haben. Das lag seiner Frau zufolge auch an den immer düster werdenden Chats mit dem Bot.
Inwieweit Technologien Jugendliche gefährden, wird bei praktisch allen neuen Medienarten diskutiert. Ob in dem Fall aus Florida die KI der verhängnisvolle Faktor war, ist ebenso unklar wie die grundsätzliche Frage, ob Chatbots bei Jugendlichen eher positive oder negative Auswirkungen haben.
KI zur Früherkennung psychischer Probleme
Es gibt auch positive Ansätze im Bereich KI und psychische Gesundheit. Lara Gervaise, Ingenieurin und Gründerin des Lausanner Start-ups Virtuosis, hat eine KI entwickelt, die Stimmen analysiert, um beispielsweise ein Burnout-Risiko frühzeitig zu erkennen. Psychische Krankheiten haben einen Einfluss auf das zentrale Nervensystem, und das wiederum bestimmt laut Gervaise, wie man spricht: Tonalität, Sprechtempo, Redefluss. Aus solchen Informationen destilliere «Virtuosis» eine Gesundheitsanalyse. Man finde verlässliche Hinweise auf psychische Leiden, Depressionen oder Burnouts, aber auch auf physische Krankheiten - Typ-2-Diabetes und Parkinson zum Beispiel.
Die Trefferquote ihrer Software liege bei über 90 Prozent, sagt Gervaise. Bei Parkinson erreiche sie gar eine Genauigkeit von 95 Prozent, bei Depressionen 93 Prozent. Dabei ist das Ziel nicht, die Psychiaterin oder den Psychologen zu ersetzen. Es geht um Früherkennung. Darum, früh und mit wenig Aufwand Hinweise zu geben, wenn eine Erkrankung vorliegt und jemand Hilfe suchen sollte.
Idealerweise findet eine Stimmanalyse nebenbei statt - bei Gesprächen, die man sowieso jeden Tag führt, etwa an Onlinesitzungen, wie Gervaise erklärt. «Virtuosis» arbeitet unter anderem mit Microsoft zusammen. So hat das Start-up ein Zusatzprogramm für Microsofts Teams-Software entwickelt, das die Stimme der Nutzer analysiert und einen Bericht ausspuckt, wie es um die psychische Gesundheit steht.
KI-Chatbots als Therapieunterstützung
Zum ersten Mal zeigt eine Studie, dass ein Chatbot die Symptome von Depressionen und Angstzuständen lindern kann. Chatbots mit generativer künstlicher Intelligenz (Gen-AI) könnten dereinst personalisierte und wirksame Behandlungen der psychischen Gesundheit ermöglichen. Eine neue Studie hat einen von Experten fein abgestimmten Gen-AI-Chatbot, einen so genannten Therabot, für die Behandlung psychischer Erkrankungen getestet.
Die Studie belegt die die Wirksamkeit eines solchen, ausschliesslich auf generativer KI basierenden Instruments bei der Behandlung bestimmter psychischer Störungen. Die Studie, die in der Zeitschrift «NEJM AI» des «New England Journal of Medicine» veröffentlicht wurde, untersuchte 210 Erwachsene mit klinisch signifikanten Symptomen einer schweren Depression, einer generalisierten Angststörung oder einem hohen Risiko für Essstörungen. Die Teilnehmer wurden in eine Gruppe eingeteilt, die vier Wochen lang von der Interaktion mit dem Chatbot profitierte, und in eine Kontrollgruppe, die auf eine Warteliste gesetzt wurde. Eine Nachuntersuchung wurde acht Wochen nach Beginn des Experiments durchgeführt.
Ergebnisse der Studie
Die Ergebnisse sind ermutigend: Die depressiven Symptome gingen in der Interventionsgruppe doppelt so stark zurück wie bei den Kontrollpersonen. Auch Angstzustände und Risikofaktoren für Essstörungen gingen deutlich zurück. Noch besser: Die beobachteten Vorteile blieben auch vier Wochen nach Ende der Intervention erhalten oder wurden sogar noch verstärkt.
Die Teilnehmer verbrachten während des Monats durchschnittlich mehr als sechs Stunden mit dem Chatbot, was auf ein hohes Engagement hindeutet. Viele gaben sogar an, dass sie eine gute therapeutische Beziehung hatten, die mit der Beziehung zu einer menschlichen Fachperson vergleichbar war.
Diese ersten Ergebnisse eröffnen neue Perspektiven. Da sie eine personalisierte Behandlung in grossem Massstab ermöglichen, könnte sich ein solches Instrument als besonders nützlich in Gebieten erweisen, in denen es zu wenig Psychiater gibt, oder für Menschen, die Schwierigkeiten beim Zugang zur Gesundheitsversorgung haben.
Was ist generative künstliche Intelligenz?
Generative künstliche Intelligenz sind KI-Systeme, die neue Inhalte schaffen können - wie Texte, Bilder oder Musik - basierend auf den Daten, mit denen sie trainiert wurden.
Diese Systeme lernen Muster und Strukturen aus grossen Datenmengen und können dann kreativ sein, indem sie ähnliche Inhalte erzeugen. Herkömmlichen KI-Systeme beschränken sich auf vorgegebene Aufgaben wie Klassifikation oder Vorhersage. Bekannte Beispiele für generative KI sind Sprachmodelle wie ChatGPT, die Texte generieren können, Bildgeneratoren wie DALL-E oder Midjourney und Musikgeneratoren wie MusicLM.
Die ethischen Herausforderungen der KI
Die Schweiz, eine der führenden Nationen im Bereich Künstliche Intelligenz, steht vor ethischen Herausforderungen. Bereits 2017 äusserten Ienca und ein Kollege im Zusammenhang mit Neurotechnologien Bedenken hinsichtlich von Rechten wie jenen auf kognitive Freiheit und geistige Privatsphäre. Seit Neuralink im vergangenen Jahr die Genehmigung der FDA zur Durchführung klinischer Versuche am Menschen erhielt, setzt sich die gesamte Weltgemeinschaft für die Entwicklung von Vorschriften ein.
Costas Trascasas hofft, dass sich in der Zwischenzeit mehr Staaten für die Entwicklung von Leitlinien einsetzen werden, die auf Menschenrechtsbedenken im Zusammenhang mit der Neurotechnologie aufgreifen.
tags: #Depression #Google #KI