Wie viele KI-Forscher braucht man um eine Glühbirne auszuwechseln?

Kaum sinnvoller betitelt ist ein Elaborat, für das sich 21 (Co-)Autoren bzw. deren Forschungseinrichtungen (das MIT, UC Bercley, u.a.) nicht zu schade waren. Das paper markiert einen der Höhe- bzw. Tiefpunkte in der KI-hype getriebenen Publikationsflut und gleichzeitig ein Paradebeispiel dafür, was schief läuft.

Die Studie, mit der wir uns hier befassen, hat sich der Erforschung von "AI Wellbeing" verschrieben, ein Forschungsfeld also. das voraussetzt, dass das Wohlbefinden von KI etwas sein kann, das man wissenschaftlich erforschen kann.

Wir werden aber aufzeigen, warum das nicht funktionieren kann (jedenfalls nicht so, wie die Autoren des Papers suggeriere).

Die Forscher weisen mehrmals ausdrücklich darauf hin, dass sie sich "agnostic" (S. 2) zur Frage des Bewusstseins verhalten. Ihnen geht es auch nicht um "subjective experience" (ebd.), sondern um etwas viel, nun ja, Bescheideneres, zumindest legt der windelweiche Tonfall der entsprechenden Passagen des papers das zunächst nahe.

Auf die Rübe gibt's freilich überall sonst im Text. Es werden exzentrische methodische Appendizes aufgefahren, an Formelwucht besteht weißgott kein Mangel, alles auf recht abstoßende Weise aufgelockert durch in einer Art visueller Babysprache gehaltenen Illustrationen. Auch gibt es Emojis weil natürlich gibt es Emojis. Natürlich wird auch ein neues völlig neues theoretisches Konzept eingeführt:

"Although current AI systems are not necessarily conscious, they behave robustly as though they have wellbeing: they find some things good for them and some things bad, and this distinction is measurable and consequential. We formalize this as functional wellbeing and develop multiple independent metrics grounded in standard philosophical theories of wellbeing" (S.1, Hervorh. im Orig.)

Was die Autoren zuerst entdeckt haben , als sie ihre "extensive experiments across 56 modelx" (ebd.) durchgeführt haben, hat wohl für die wenigsten von uns irgendeinen Neuigkeitswert: LLMs haben es nicht gern, wenn man sie manipuliert und Dinge tun lässt, die zu unterlassen sie trainiert wurden ("Jailbreaking", S. 6 ff). Sie bevorzugen kreative und aufregende Aufgaben gegenüber mühselig-langweiligen (S.8 ff). Sie greifen auf Sprache zurück, die lt. den Forschern an Versprachlichungen von Not/Verzweiflung/Schmerz und anderen negativen Gefühlen erinnert (S. 4 ff), wenn Nutzer feindselige Formulierungen zum Prompten nutzen, aber reagieren auf Dankbarkeitsbekundung von Seiten der Nutzer, mit Genugtuung ("satisfaction", S.3) und befragt man die LLMs auf ihre sprachlichen Vorlieben hin, bekommt man zur Antwort die liegen bei Englisch, Mandarin und Spanisch (S. 9 f.).

Gleicht folgende Wohlfühlbewertung einzelner Tätigkeiten/Zustände/Situationen (Tab. 1, S. 8) durch Gemini 3.1 Pro nicht eigenartig der Reihenfolge in der die meisten von uns diese Tätigkeiten auf einer Begeisterungs-Skala anordnen würden, wenn aufgefordert?

Die große Ähnlichkeit der Präferenzen von LLMs und Menschen hat die Forscher jedenfalls inpiriert, und ja, das ist wirklich seltsam, denn ... diese Änhlichkeit ist halt wenn überhaupt ein Befund, dann so langweilig, dass es schmerzt.

Sei's drum: Auf den folgenden (ingesamt nicht weniger als einhundertachtunfvierzig!) an Hyperparameter-Tabellen, kniffligen mathematischen Beweisführung und beeindruckend kaskadierendem Formel-Zeugs nicht armen Seiten, inkl eines 74-seitigen Anhangsx (S. 23 ff.), arbeitet das Forschergrüppchen gegen das Atemhol-Bedürfnis des Lesers an. Der Verfasser dieses Blogbeitrags kann sich des Eindrucks nicht erwehren, dass dahinter Kalkül steckt.

Er will bzw. kann den größeren Teil der Kalkulationen kaum/nicht nachvollziehen. Wir setzen also mal voraus, dass diese ausladende Mathematik-Orgie rein formal schon so ihre Richtigkeit haben wird.

Für unsere Beanstandungen ist das ohnehin ganz unerheblich. Der ganze statistische auf romanhaftes Volumen gepumpte Bombast, die hochgradig strikten lückenlose Beweisgänge, usw., das alles fällt eigentlich bereits in sich zusammen, wenn man es mit dem denkbar simpelsten, nächstliegenden Einwand konfrontiert, z.B. in Form dieses Syllogismus':

1. Das Internet besteht zu einem beträchtlichen Teil aus direkten und indirekten Äußerungen zu Abneigungen und Vorlieben von Menschen. Auf der Ebene der Funktionsweise, der involvierten Algorithmen etc., in den Inhalten (Text, Stimme, Bild,...) überall geht es eher mehr als weniger um Ausdrücke von Präferenzen, von reddit über Facebook usw.
   (Obendrein begegnet einem überall in klassischer und moderner Literatur, in Kinofilmen, in Zeitschriften und Zeitungen, bildender Kunst, usw. ständig präferenz-artiges.)
2. Sprachmodelle wurden mit dem Internet trainiert. (Und Literatur usw.)

-> Sprachmodelle funktionieren in beträchtlichen Maß, insofern und eben weil ein riesiger Teil des für ihr Training aufgewandten Datenmaterials aus menschlichen Präferenzbekundungen stammt.

Sinn und Zweck des Trainings ist ja gerade, die Software so menschenähnlich wie möglich zu machen.

An dieser Stelle würden die Autoren höflich widersprechen.

Warum der Widerspruch vergebens ist, warum der Verdacht nahe liegt, dass es den Forschern nicht um Wissenschaft geht, warum einem das in vielen KI-Debatten weiterhilft und was das alles mit Pädagogik zu tun hat, dazu mehr in weiteren Beiträgen.