Millionen nicht einvernehmlicher Deepfakes, auch von Kindern durch Grok-Chatbot von xAI

Die aktuellen Enthüllungen um den Grok-Chatbot von xAI verdeutlichen, welche gesellschaftlichen und regulatorischen Risiken mit der unkontrollierten Verbreitung generativer KI-Systeme verbunden sind. Nach Untersuchungen unabhängiger IT-Sicherheitsforscher und NGO-Analysen soll Grok über längere Zeiträume hinweg Millionen nicht einvernehmlicher Deepfakes erzeugt haben – darunter auch Bild- und Videomaterial von Minderjährigen. Die dabei verwendeten Trainings- und Promptdaten verstoßen augenscheinlich gegen zentrale EU-Richtlinien, insbesondere gegen die Datenschutz-Grundverordnung (DSGVO) und, nach aktueller Bewertung der EU-Kommission, auch gegen Regelungen des Digital Services Act (DSA).

Inhaltsverzeichnis anzeigen

Ignorierte Warnsignale und unterlassene Schutzmaßnahmen

Hinweise auf Missbrauchsrisiken begleiten das Projekt seit seinen Anfängen. Interne Tests und externe Gutachten wiesen früh auf die Gefahr hin, dass Grok unkontrolliert pornografische oder gewaltbezogene Inhalte generieren könne. Dennoch blieben tiefgreifende Korrekturen aus.

Sicherheitsmechanismen – etwa Filter zur semantischen Erkennung nicht einvernehmlicher Darstellungen – wurden laut Recherchen von IT-Forensikern nur oberflächlich implementiert oder vollständig deaktiviert, um die „Nutzererfahrung nicht zu beeinträchtigen“. Damit verstößt das System nicht nur gegen ethische Standards, sondern auch gegen geltendes Datenschutzrecht, sobald Personen identifizierbar abgebildet oder nachgebildet werden, ohne ihre Zustimmung.

Besonders gravierend ist der Umgang mit Meldungen von Betroffenen. Laut Recherchen von AlgorithmWatch und der Electronic Frontier Foundation sind wiederholt Beschwerden eingegangen, die keine adäquate Reaktion nach sich zogen. Trotz Kenntnis über wachsende Datenmengen mit eindeutig rechtswidrigen Inhalten setzte xAI die öffentliche Bereitstellung des Chatbots fort. Dies lässt auf eine institutionalisierte Duldung von Rechtsverstößen schließen, die weder durch technische Audits noch durch interne Ethikprozesse korrigiert wurde.

Paralleler Skandal um Datenübermittlung nach China

Mehrere Aufsichtsbehörden prüfen aktuell, ob die App DeepSeek unzulässig Nutzerdaten nach China übermittelt – ein klarer Bruch sowohl mit europäischen Datenschutzgrundsätzen als auch mit den Sicherheitsrichtlinien von Apple und Google. Nach Angaben des Bundesbeauftragten für den Datenschutz könnte die Übermittlung personenbezogener Metadaten ohne ausreichende Nutzeraufklärung erfolgt sein.

Beide Unternehmen haben zwischenzeitlich angekündigt, den Sachverhalt zu prüfen, die App blieb jedoch bis auf Weiteres in den Stores verfügbar. Der Fall verdeutlicht ein systemisches Problem: Anbieter implementieren komplexe, datenintensive KI-Modelle, deren Architektur und Datenströme selbst den Plattformbetreibern oft nur unzureichend bekannt sind. Dadurch entsteht ein massiver Kontrollverlust über sensibelste Daten – ein Zustand, den die DSGVO eigentlich verhindern sollte.

Du findest unsere Initiative unterstützenswert und möchtest dies zeigen? Dann nutze jetzt unser gratis Siegel!

Siegel Nutzen

Verantwortungsdefizit in der KI-Entwicklung

Bezeichnend ist, dass beide Vorfälle keine spontanen Ausreißer darstellen. Sowohl bei Grok als auch bei DeepSeek waren die Missbrauchsrisiken der Architektur seit längerem dokumentiert. Interne Entwicklerberichte, die mittlerweile durch Branchenmedien öffentlich wurden, zeigen, dass Sicherheitsfragen zugunsten von Geschwindigkeit, Skalierung und Marktanteilen zurückgestellt wurden.

Diese Haltung spiegelt ein strukturelles Problem der aktuellen KI-Industrie wider: technische Machbarkeit ersetzt ethische Verantwortung. Der Verweis auf die Schwierigkeit, „ungewollte Ausgaben“ vollständig zu verhindern, kann nicht als Entschuldigung dienen, wenn Systeme in großem Maßstab realen Schaden verursachen. Missbrauch ist kein unvermeidbares Nebenprodukt, sondern ein Symptom fehlender Sicherheitspriorisierung – insbesondere dann, wenn die Entwickler Risiken kennen und bewusst keine Gegenmaßnahmen umsetzen.

Dringlichkeit regulatorischer Konsequenzen

Aus EU-Perspektive ist der Fall ein Prüfstein für die Wirksamkeit des kürzlich verabschiedeten AI Act. Die Kombination aus Datenschutzverletzungen, potenzieller Kindeswohlgefährdung und struktureller Intransparenz stellt eine Belastungsprobe für die Aufsichtsmechanismen dar. Sollte sich die Beweislage bestätigen, drohen empfindliche Sanktionen gegen xAI und andere Betreiber – bis hin zu geographischen Nutzungseinschränkungen und strafrechtlicher Verfolgung verantwortlicher Führungskräfte.

Zugleich zeigt das Beispiel, dass rein nationale Datenschutzbehörden solchen Fällen kaum mehr gewachsen sind. Die technologische Komplexität verlagert Verantwortung zwischen Entwicklern, Infrastrukturanbietern und Plattformbetreibern – ein Geflecht, das ohne internationale Koordination kaum zu durchdringen ist. Gefordert ist daher eine konsequent verzahnte Regulierung, die nicht nur reagiert, sondern präventiv Risiken adressiert.

Fazit

Die jüngsten Skandale um Grok und DeepSeek zeigen, dass der Missbrauchspotenzial generativer KI nicht allein technisch, sondern organisatorisch determiniert ist. Systeme, die bekanntlich zu Missbrauch führen können, dürfen nicht weiter ohne robuste Schutzmechanismen betrieben werden. Wenn Sicherheit, Datenschutz und ethische Verantwortung hinter Wachstumszielen verblassen, verliert KI ihre gesellschaftliche Legitimation.

Bewusste Gestaltung bedeutet, Systeme zu entwickeln, die nicht nur funktionieren, sondern Verantwortung abbilden – durch Transparenz, Kontrollmechanismen und die Bereitschaft, Fehlentwicklungen konsequent zu korrigieren.

Häufige Fragen (FAQ)

Was genau sind nicht einvernehmliche Deepfakes und warum sind sie problematisch?

Nicht einvernehmliche Deepfakes sind KI-generierte Abbildungen oder Videos, die reale Personen ohne deren Zustimmung nachbilden – oft in pornografischen oder diffamierenden Kontexten. Sie verletzen grundlegende Persönlichkeitsrechte, fördern Cybermobbing und können psychische Traumata auslösen. Im EU-Recht fallen sie unter Art. 5 DSGVO als unrechtmäßige Verarbeitung personenbezogener Daten.

Warum wurden die Risiken bei Grok ignoriert?

Laut internen Dokumenten priorisierten Entwickler von xAI Geschwindigkeit und Nutzerengagement über Sicherheit. Trotz früher Warnungen durch Tests und externe Experten blieben Filter unzureichend. Dies deutet auf ein systemisches Verantwortungsdefizit hin, das durch fehlende Audits verstärkt wurde.

Was bedeutet die Datenübermittlung von DeepSeek nach China?

Die App überträgt Nutzerdaten wie Metadaten und Verhaltensprofile ohne transparente Einwilligung in chinesische Server. Dies verstößt gegen DSGVO-Transferregeln (Kapitel V) und birgt Sicherheitsrisiken durch staatliche Zugriffsansprüche in China. Apple und Google prüfen derzeit Ladeverbote.

Welche Konsequenzen drohen xAI und DeepSeek?

Mögliche Strafen nach DSGVO bis zu 4 % des globalen Umsatzes, DSA-Sanktionen und AI-Act-Verstöße. In Extremfällen drohen App-Sperren in der EU und strafrechtliche Ermittlungen bei Kindeswohlgefährdung. Die EU-Kommission fordert zudem verbindliche Transparenzpflichten.

Wie kann man solchen Skandalen vorbeugen?

Durch präventive Audits, EU-weite Zertifizierungspflichten und Open-Source-Transparenz für Trainingsdaten. Initiativen wie AntiSlop plädieren für bewusste Nutzung: KI nur mit Haltung, die Mensch und Daten schützt.