Nach scharfer Kritik: Meta stoppt Wissenschafts-KI, weil sie unsinnige Analysen erstellte

Eigentlich sollte es ein Durchbruch werden. Doch nach nur wenigen Tagen im Netz – und teils heftiger Kritik vonseiten der Twitter-Gemeinde – hat Meta, ehemals Facebook, die Testversion einer von Meta AI entwickelten Künstlichen Intelligenz (KI) wieder vom Netz nehmen müssen. “Galactica” heißt das Programm, das ursprünglich Forschungsarbeiten zusammenfassen, Gleichungen lösen und eine Reihe anderer nützlicher wissenschaftlicher Aufgaben erledigen sollte, stattdessen aber vage plausibel klingende, aber letztlich unsinnige wissenschaftliche Abhandlungen schrieb. Das verheißungsvolle Projekt endete für den Konzern vorläufig in einem Desaster, denn wie alle Sprachmodelle ist Galactica im Grunde nur ein Bot, der zum Leiden des Social-Media-Giganten letztlich nicht dazu in der Lage war, Fakten von Fiktion zu unterscheiden.

So behaupten Kritiker, das KI-Programm produziere Pseudowissenschaft, sei überbewertet und nicht für den öffentlichen Gebrauch geeignet. “In allen Fällen waren die Zusammenfassungen falsch oder voreingenommen, klangen aber richtig und verbindlich”, kritisierte der Direktor des Max-Planck-Instituts für Intelligente Systeme, Michael Black, Galactica in einem Beitrag auf Twitter. Einige Forscher stellten zudem infrage, ob große Sprachmodelle überhaupt zur Entscheidungsfindung herangezogen werden sollten. Aufgrund der überwältigenden Komplexität solcher Programme sei es nahezu unmöglich, die von der KI generierten Resultate zu überprüfen oder auch nur ansatzweise zu erklären. 

Dies ist natürlich ein massives Problem, insbesondere wenn es um wissenschaftliche Forschung geht. Wissenschaftliche Arbeiten beruhen auf strengen Methoden, die textgenerierende KI-Systeme eindeutig nicht nachvollziehen können – zumindest noch nicht. Ein Umstand, der auch Black Sorgen bereitet. Der Forscher fürchtet, dass ein System wie Galactica “eine Ära tiefgreifender wissenschaftlicher Fälschungen einleiten könnte. Ich denke, das ist gefährlich.” Andere wiederum brüskierten sich darüber, dass die KI für ein breites Spektrum von Forschungsthemen keine Ergebnisse lieferte, was wahrscheinlich auf die automatischen Filter der KI zurückzuführen ist. Willie Agnew, ein Informatikforscher an der Universität Washington, bemängelte zum Beispiel, dass Abfragen nach “Queer Theory”, “Racism” und “AIDS” immer wieder ins Leere verliefen. 

In anderen Fällen erstellte die KI gefälschte Arbeiten, die sie dann sogar real existierenden Autoren zuschrieb. Und als wäre das noch nicht genug, erfand das Sprachmodell einen Wikipedia-Artikel über das Leben von Bären im Weltraum. Das neuronale Netzwerk spuckte eine völlig an den Haaren herbeigezogene Geschichte über einen sowjetischen Weltraumbären namens “Bars” aus, der an Bord einer Sputnik 2-Rakete ins Weltall gelangt sei und noch heute dort leben soll. Geht es um Bären in der Raumfahrt, ist das Fantasieprodukt gegebenenfalls noch leicht zu erkennen, problematisch werden die fehlerhaften Ergebnisse dann, wenn der Nutzer selbst nicht über das Fachwissen verfügt, eine falsche Schlussfolgerung des Programms zu entlarven. Auch deshalb nahm Meta die Demoversion der KI am frühen Donnerstagmorgen vorläufig vom Netz. 

“Wir schätzen das Feedback, das wir bisher von der Community erhalten haben, und haben die Demo vorerst pausiert”, erklärte die mit dem Projekt betraute Meta-Tochtergesellschaft Papers with Code auf Twitter. “Unsere Modelle stehen Forschern zur Verfügung, die mehr über die Arbeit erfahren und die Ergebnisse des Papers reproduzieren wollen.” Andere Meta-Mitarbeiter behaupteten jedoch, die Demo sei als Reaktion auf die Kritik entfernt worden. Es ist nicht das erste Mal, dass Facebook sich nach der Veröffentlichung einer erschreckend voreingenommenen KI erklären muss. Im August veröffentlichte das Unternehmen eine Demo für einen Chatbot namens BlenderBot 3, der “beleidigende und unwahre” Aussagen machte. Für Aufsehen sorgte auch ein von Meta entwickeltes Sprachmodell namens OPT-175B, dem Forscher später eine “hohe Neigung” zu “Rassismus und Voreingenommenheit” attestierten. 

Galactica ist ebenfalls ein Sprachmodell – jedoch eines für die Wissenschaft, das nach Angaben des Social-Media-Giganten mithilfe von rund 48 Millionen Beispielen aus wissenschaftlichen Abhandlungen, Webseiten, Lehrbüchern, Vorlesungsmitschriften und Enzyklopädien trainiert wurde. Meta selbst bewirbt das KI-Programm als “eine Abkürzung für Forscher und Studenten”. Nach Angaben des Unternehmens kann Galactica “akademische Abhandlungen zusammenfassen, mathematische Probleme lösen, Wikipedia-Artikel generieren, wissenschaftlichen Codes schreiben, Moleküle und Proteine annotieren und vieles mehr”.

Und obwohl die Ergebnisse solcher KI-Programme oftmals doch sehr beeindruckend sind, ist Galactica ein weiteres Beispiel dafür, dass die Fähigkeit, glaubwürdige menschliche Sprache zu erzeugen, nicht bedeutet, dass das System den Inhalt auch tatsächlich versteht.

Eine Erfahrung, die auch der KI-Experte Gary Marcus machte. So bezeichnete er den Output des Meta-Sprachmodells unter anderem als “Bullshit” und merkte an, dass Galactica in die Fußstapfen des GPT-3-Textgenerators von OpenAI trete, der sich ebenfalls dadurch auszeichnet, dass er grammatikalisch einwandfreies Zeug ausspucke, das aber totaler Quatsch sei. “Wie soll ich das höflich ausdrücken?”, schrieb der Autor und bekennende KI-Liebhaber auf seiner Webseite. “Das Programm schwindelt. Sehr viel.” So verdeutlichte Facebooks Galactica erneut das Dilemma der modernen Sprach-KI: Sie kann eine Menge Wörter produzieren, die ziemlich genau beim Thema bleiben, aber bei genauerem Hinsehen wenig oder gar keinen Sinn ergeben.

Und es ist leicht vorstellbar, dass eine KI wie diese – sollte sie irgendwann mal funktionieren – missbraucht werden könnte. Ein Student könnte Galactica beispielsweise dafür nutzen, Vorlesungsnotizen über schwarze Löcher zu analysieren und das Ergebnis dann als “eigene” Studienarbeit einreichen. Ein Wissenschaftler könnte sie verwenden, um eine literarische Abhandlung zu schreiben, die er dann bei einer wissenschaftlichen Zeitschrift einreicht. Da das Sprachmodell so trainiert wurde, dass das von ihm ausgespuckte Ergebnis wie von Menschen geschaffen klingt, könnte der kommerzielle Einsatz solcher Programme Tür und Tor für einen betrügerischen Gebrauch der Software öffnen.

Überdies könnte die Nutzung von Galactica für Wissenschaftler ein zweischneidiges Schwert sein, wie man spätestens bei einem Blick in die Nutzungsbedingungen erfährt. Die Nutzer des KI-gestützten Forschungstools gewähren dem Konzern das Recht, sämtlichen, mit der Anwendung kreierten Content zu sichten, zu prüfen und gegebenenfalls auch “zu verwerten”. So könnte sich Meta die weitere Nutzung des vom Programm generierten Textes zum Training seines KI-Modells offenhalten. Zwar gibt der Social-Media-Gigant zugleich an, dass das Urheberrecht am erzeugten Output bei den Nutzern selbst liege, unklar bleibt jedoch, wie die Anwender ihr Urheberrecht im Ernstfall wahren können. 

Yann LeCun, wissenschaftlicher Leiter von Meta, verteidigt das KI-Programm dennoch und konterte auf Twitter derweil auch weiterhin gegen jede berechtigte Kritik an Galactica. Über das vorläufige Ende der Anwendung zeigte er sich deshalb bestürzt. “Die Galactica-Demo ist vorerst offline. Es ist nicht mehr möglich, Spaß zu haben, indem man es missbraucht. Glücklich?”, schrieb er auf Twitter. 

Mehr zum Thema – Google beurlaubt Mitarbeiter, der behauptet, die KI des Unternehmens habe ein Bewusstsein