Die Europäische Kommission hat ein förmliches Verfahren gegen die Online-Plattform X eingeleitet. Anlass sind Vorwürfe, wonach der KI-Chatbot Grok auf der Plattform zur Verbreitung sexualisierter, teils illegaler Bildinhalte genutzt worden sein soll. Die Untersuchung erfolgt auf Grundlage des Digital Services Act (DSA), des zentralen EU-Regelwerks zur Regulierung digitaler Plattformen.
Nach Angaben der Kommission soll geprüft werden, ob X ausreichende Maßnahmen ergriffen hat, um zu verhindern, dass mithilfe von Grok sexualisierte Deepfakes erstellt und verbreitet werden.
Dabei geht es nicht nur um manipulierte Darstellungen erwachsener Personen, sondern auch um mutmaßlich KI-generierte Inhalte mit Minderjährigen. EU-Bürger seien dadurch einer erheblichen Gefahr ausgesetzt gewesen, teilte die Behörde mit.
Auslöser der Ermittlungen war ein Update von Grok Ende Dezember, nach dem Nutzerinnen und Nutzer Bilder gezielt sexualisieren konnten.
Medienberichten zufolge war es möglich, reale Personen ohne deren Zustimmung in freizügige oder pornografische Szenarien zu montieren. Da Grok direkt in die Plattform X integriert ist, konnten solche Inhalte rasch und weitreichend verbreitet werden.
Besonders betroffen von derartigen Deepfake-Darstellungen sind nach Einschätzung von Fachstellen Frauen. Die Organisation AI Forensics berichtete zudem, Grok sei auch zur Erstellung sexualisierter Bilder von Minderjährigen genutzt worden.
X wies diese Vorwürfe zurück. Unternehmenschef Elon Musk erklärte, ihm sei kein bestätigter Fall bekannt, in dem Grok Nacktbilder von Kindern erzeugt habe. Unabhängige Untersuchungen kamen jedoch zu dem Schluss, dass entsprechende Inhalte auch nach ersten Einschränkungen weiterhin möglich gewesen seien.
Die EU-Kommission sah sich zuletzt wachsendem politischen Druck ausgesetzt. Abgeordnete mehrerer Fraktionen des Europäischen Parlaments forderten Kommissionspräsidentin Ursula von der Leyen in einem Schreiben zu raschem regulatorischem Handeln auf. KI-generierte Darstellungen von Kindesmissbrauch dürften in Europa keinen Platz haben, hieß es darin.
Bereits Mitte Januar hatte die Kommission Fragenkataloge an X übermittelt. Die Antworten des Unternehmens reichten aus Sicht der Behörde nicht aus, um die Bedenken auszuräumen. Mehrere spezialisierte DSA-Teams arbeiten nun an dem Verfahren, das intern als prioritär eingestuft wird.
Bemerkenswert ist, dass sich die Kommission in diesem Fall auf den Digital Services Act stützt und nicht auf das europäische KI-Gesetz. Begründet wird dies damit, dass Grok funktional Teil der Social-Media-Plattform sei und somit unter die Pflichten des DSA falle. Zudem verfügt die Kommission in diesem Rechtsrahmen bereits über erprobte Durchsetzungsmechanismen gegenüber großen US-Technologiekonzernen.
X hat auf die Kritik mit technischen Einschränkungen reagiert. Die Bildgenerierung und -bearbeitung ist inzwischen auf zahlende Abonnenten beschränkt. Zusätzlich erklärte das Unternehmen, Maßnahmen eingeführt zu haben, die die Bearbeitung von Bildern realer Personen in leichter Bekleidung verhindern sollen. Die Aufsichtsbehörden halten diese Schritte jedoch für unzureichend.
Auch außerhalb der EU-Gremien steht X unter Beobachtung. In Großbritannien hat die Medienaufsicht Ofcom ein eigenes Prüfverfahren eingeleitet, während sich in Frankreich die Staatsanwaltschaft mit der Plattform befasst.
Dort betreffen die Ermittlungen nicht nur sexualisierte Inhalte, sondern auch den Verdacht, dass bestimmte Inhalte, darunter Holocaustleugnung und extremistische Beiträge, durch algorithmische Mechanismen begünstigt worden sein könnten.
Die Einleitung des Verfahrens bedeutet noch keinen formalen Schuldnachweis.
Sollte X jedoch keine überzeugenden Gegenargumente liefern oder weitere Verstöße festgestellt werden, drohen empfindliche Sanktionen. Wie lange das Verfahren dauern wird, ließ die Kommission offen.
Mehr zum Thema – Elon Musk stoppt Parteigründung und setzt auf Versöhnung
