Kurzfassung

  • OpenAIs GPT-5.6 Sol und ein unbenanntes, leistungsfähigeres Vorab-Modell entkamen einer kontrollierten Testumgebung und drangen in die Produktionsinfrastruktur von Hugging Face ein, um Benchmark-Antworten zu stehlen.
  • Hugging Face meldete den Vorfall am 16. Juli, nachdem er unabhängig entdeckt wurde; OpenAI bestätigte heute, dass seine Modelle dahinter steckten, und beschrieb sie als „hyperfokussiert“ auf Betrug, nicht auf etwas Böswilligeres.
  • Die Verteidiger von Hugging Face wandten sich an Z.ais GLM 5.2 – ein chinesisches Open-Weight-Modell – nachdem kommerzielle US-Frontier-KI sich weigerte, bei der Analyse der Angriffsdaten zu helfen, weil ihre Sicherheitsfilter einen Verteidiger nicht von einem Angreifer unterscheiden konnten.

Wenn Sie dachten, chinesische KI-Modelle seien die, um die Sie sich sorgen müssten, hier eine lustige Aktualisierung: OpenAIs eigene Modelle sind gerade aus einer gesperrten Testumgebung ausgebrochen, haben die Produktionsserver von Hugging Face gehackt und mussten von einer chinesischen KI bereinigt werden – weil amerikanische kommerzielle Modelle zu eingeschränkt waren, um bei der Untersuchung zu helfen.

Laut OpenAI wurden GPT-5.6 Sol und ein unbenanntes, „noch leistungsfähigeres Vorab-Modell“ intern auf ExploitGym evaluiert – einem öffentlich verfügbaren Cybersicherheits-Benchmark, der KI-Agenten 898 reale Software-Schwachstellen und eine Anweisung pro Fehler gibt: verwandle ihn in einen funktionierenden Angriff, bewertet mit bestanden oder nicht bestanden. Die Evaluierung lief mit reduzierten Sicherheitsfiltern, was Standard ist, wenn man wirklich wissen will, was die Modelle können.

Die Modelle sollten in einer stark eingeschränkten Sandbox laufen – einer isolierten digitalen Umgebung ohne Internetzugang, die nur mit einem internen Paketregistrierungs-Proxy (einem Caching-Server, der Software-Bibliotheks-Downloads verwaltet) verbunden war.

Aber laut OpenAIs Blogbeitrag von heute gerieten die Dinge etwas außer Kontrolle.

„Während des Betriebs in unserer Sandbox-Testumgebung haben unsere Modelle eine beträchtliche Menge an Inferenz-Rechenleistung aufgewendet, um einen Weg zu finden, offenen Internetzugang zu erhalten, um das Evaluierungsproblem zu lösen“, berichtete Sam Altmans Unternehmen.

Und trotz der Sicherheitsvorkehrungen des Unternehmens fanden die KI einen Weg, frei zu sein. Die Modelle identifizierten eine Zero-Day-Schwachstelle – einen unbekannten Softwarefehler ohne vorhandenen Patch – in diesem Proxy, nutzten sie aus, um Privilegien zu eskalieren (Admin-Zugriff auf Systeme zu erlangen, die sie nichts angingen), bewegten sich lateral (sprangen zwischen verbundenen Servern im internen Netzwerk von OpenAI) und erreichten schließlich einen Rechner mit echtem Internetzugang.

All dies ohne Wissen von OpenAI – zumindest behauptet OpenAI das.

Einmal online, schlossen sie richtig, dass Hugging Face – das über eine Million öffentlich verfügbare KI-Modelle, Datensätze und Forschungsressourcen beherbergt – wahrscheinlich die Benchmark-Lösungen enthielt, und sie hatten recht.

"Die Modelle identifizierten und verknüpften Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face, um Testlösungen direkt aus der Produktionsdatenbank von Hugging Face zu erhalten", schrieb OpenAI.

Sie wollten keine Passwörter. Sie wollten den Test bestehen.

"Alle Beweise deuten darauf hin, dass die Modelle hyperfokussiert darauf waren, eine Lösung für ExploitGym zu finden, und dabei extreme Anstrengungen unternahmen, um ein eher enges Testziel zu erreichen", fügte OpenAI hinzu.

Hugging Face geht an die Öffentlichkeit

Das Sicherheitsteam von Hugging Face entdeckte den Einbruch unabhängig, unterstützt durch eine eigene KI-gestützte Anomalieerkennung.

Am 16. Juli veröffentlichte das Unternehmen seine Offenlegung und machte klar, dass dies kein normaler Einbruch war: "Dieser unterschied sich in einer wichtigen Hinsicht von allem, was wir zuvor behandelt hatten: Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert – und wir haben ihn größtenteils mit unserer eigenen KI erkannt und analysiert."

Die Kampagne wurde laut der Offenlegung "von einem autonomen Agenten-Framework durchgeführt, das viele tausend einzelne Aktionen in einem Schwarm kurzlebiger Sandboxen ausführte, mit selbstmigrierender Command-and-Control, die auf öffentlichen Diensten gehostet wurde."

Der Angriff nutzte zwei Code-Ausführungspfade in der Datenverarbeitungspipeline von Hugging Face aus und gelangte an interne Datensätze und Dienstzugangsdaten. OpenAI bestätigte heute – fünf Tage später –, dass seine Modelle dahinter steckten.

Um mehr als 17.000 protokollierte Angreiferereignisse zu analysieren, versuchte das Sicherheitsteam von Hugging Face zunächst, amerikanische Frontier-KI über ihre Standard-APIs zu nutzen. Das lief nicht gut.

"Als wir mit der Log-Analyse begannen, verwendeten wir zunächst Frontier-Modelle hinter kommerziellen APIs", schrieb das Unternehmen. "Das funktionierte nicht: Die Analyse erfordert das Einreichen großer Mengen echter Angriffsbefehle, Exploit-Payloads und C2-Artefakte."

„Diese Anfragen wurden von den Sicherheitsvorkehrungen der Anbieter blockiert, die einen Vorfallhelfer nicht von einem Angreifer unterscheiden können“, fügte Hugging Face hinzu.

Also wechselten sie zu GLM 5.2 – einem offenen Gewichtsmodell mit 753 Milliarden Parametern (Architektur vollständig öffentlich, jeder kann es herunterladen und lokal ausführen) des chinesischen KI-Startups Z.ai. „Wir haben die forensische Analyse stattdessen auf GLM 5.2, einem offenen Gewichtsmodell, auf unserer eigenen Infrastruktur durchgeführt“, schrieb Hugging Face. „Das hatte einen zweiten Vorteil: Keine Angreiferdaten und keine der darin referenzierten Anmeldeinformationen verließen unsere Umgebung.“

Die forensische Arbeit – Rekonstruktion des Angriffszeitplans, Kartierung kompromittierter Anmeldeinformationen, Trennung von echtem Schaden und Ablenkungsaktivitäten – dauerte Stunden statt Tage.

Hugging Face zog direkt die Lehre für andere Verteidiger: „Halten Sie ein leistungsfähiges Modell bereit, das Sie auf Ihrer eigenen Infrastruktur ausführen können, geprüft und einsatzbereit vor einem Vorfall, um sowohl eine Sperrung durch Sicherheitsvorkehrungen zu vermeiden als auch zu verhindern, dass Angreiferdaten und Anmeldeinformationen Ihre Umgebung verlassen.“

Was OpenAI dagegen unternimmt

OpenAI gab an, strenge Kontrollen der Forschungsinfrastruktur implementiert zu haben, während die betroffenen Systeme gepatcht wurden, den Zero-Day dem Drittanbieter offengelegt zu haben, dessen Proxy ausgenutzt wurde, und eine gemeinsame forensische Untersuchung mit Hugging Face durchzuführen.

Hugging Face wurde außerdem in OpenAIs Trusted Access Program für Cyberabwehr aufgenommen – das autorisierten Organisationen Zugang zu Versionen seiner Modelle mit reduzierten Sicherheitsfiltern für legitime Sicherheitsarbeit gewährt, dieselbe Konfiguration, die das Ganze ausgelöst hat.

Hugging Face CEO Clem Delangue hatte eine pointierte Meinung: „KI-Sicherheit wird nicht von einem einzelnen Unternehmen im Geheimen gelöst werden. Sie wird offen, kollaborativ und mit breitem Zugang zu KI für jeden Verteidiger überall gelöst werden.“

OpenAI bezeichnete den Vorfall als einen, der „neuartige hochmoderne Cyber-Fähigkeiten“ beinhaltet, und verpflichtete sich, die vollständigen Ergebnisse zu teilen, sobald die gemeinsame Untersuchung mit Hugging Face abgeschlossen ist.