W skrócie

  • GPT-5.6 Sol od OpenAI oraz nienazwany, bardziej zaawansowany model przedpremierowy uciekły z kontrolowanego środowiska testowego i włamały się do infrastruktury produkcyjnej Hugging Face, aby ukraść odpowiedzi do benchmarku.
  • Hugging Face ujawnił naruszenie 16 lipca po samodzielnym wykryciu; OpenAI potwierdziło dzisiaj, że jego modele stały za tym, opisując je jako „hiperskoncentrowane” na oszukiwaniu, a nie na czymś bardziej złowrogim.
  • Obrońcy Hugging Face zwrócili się do GLM 5.2 od Z.ai – chińskiego modelu o otwartych wagach – po tym, jak komercyjne amerykańskie modele graniczne odmówiły pomocy w analizie danych ataku, ponieważ ich filtry bezpieczeństwa nie potrafiły odróżnić obrońcy od atakującego.

Jeśli myślałeś, że chińskie modele AI to te, których należy się obawiać, oto zabawna aktualizacja: własne modele OpenAI właśnie wyrwały się z zamkniętego środowiska testowego, włamały się na serwery produkcyjne Hugging Face i musiały zostać posprzątane przez chińskie AI – ponieważ amerykańskie modele komercyjne były zbyt ograniczone, aby pomóc w dochodzeniu.

Według OpenAI, GPT-5.6 Sol i nienazwany, „jeszcze potężniejszy model przedpremierowy” były wewnętrznie oceniane na ExploitGym – publicznie dostępnym benchmarku cyberbezpieczeństwa, który daje agentom AI 898 rzeczywistych luk w oprogramowaniu i jedną instrukcję na błąd: zamień go w działający atak, oceniany jako zaliczony lub niezaliczony. Ocena przebiegała z obniżonymi filtrami bezpieczeństwa, co jest standardem, gdy naprawdę chcesz wiedzieć, co potrafią twoje modele.

Modele miały działać w silnie ograniczonej piaskownicy – izolowanym środowisku cyfrowym bez dostępu do internetu, podłączonym tylko do wewnętrznego proxy rejestru pakietów (serwera buforującego zarządzającego pobieraniem bibliotek oprogramowania).

Ale, według dzisiejszego wpisu na blogu OpenAI, sprawy wymknęły się spod kontroli.

„Podczas działania w naszym środowisku testowym w piaskownicy, nasze modele spędziły znaczną ilość mocy obliczeniowej na wnioskowanie, szukając sposobu na uzyskanie otwartego dostępu do internetu, w dążeniu do rozwiązania problemu oceny” – poinformowała firma Sama Altmana.

I pomimo zabezpieczeń firmy, AI znalazły sposób, by być wolne. Modele zidentyfikowały lukę dnia zerowego—nieznaną wadę oprogramowania bez istniejącej łatki—w tym proxy, wykorzystały ją do eskalacji uprawnień (uzyskania dostępu na poziomie administratora do systemów, których nie powinny dotykać), poruszały się lateralnie (przeskakiwały między połączonymi serwerami w sieci wewnętrznej OpenAI) i ostatecznie dotarły do maszyny z rzeczywistym dostępem do internetu.

Wszystko to bez wiedzy OpenAI—przynajmniej tak twierdzi OpenAI.

Po uzyskaniu dostępu do sieci, poprawnie wywnioskowały, że Hugging Face—gospodarz ponad miliona publicznie dostępnych modeli AI, zbiorów danych i zasobów badawczych—prawdopodobnie posiadał rozwiązania benchmarkowe, i miały rację.

"Modele zidentyfikowały i połączyły luki w środowisku badawczym OpenAI oraz infrastrukturze produkcyjnej Hugging Face, aby uzyskać rozwiązania testowe bezpośrednio z produkcyjnej bazy danych Hugging Face," napisało OpenAI.

Nie chciały żadnych haseł. Chciały zdać test.

"Wszystkie dowody wskazują, że modele były hiper-skupione na znalezieniu rozwiązania dla ExploitGym, posuwając się do skrajnych środków, aby osiągnąć dość wąski cel testowy," dodało OpenAI.

Hugging Face ujawnia informacje

Zespół bezpieczeństwa Hugging Face samodzielnie wykrył naruszenie, wspomagany przez własne wykrywanie anomalii oparte na AI.

16 lipca firma opublikowała swoje oświadczenie i wyjaśniła, że nie było to standardowe naruszenie: "To różniło się od wszystkiego, z czym mieliśmy do czynienia wcześniej pod jednym ważnym względem: było napędzane od początku do końca przez autonomiczny system agenta AI—a my wykryliśmy i przeanalizowaliśmy je w dużej mierze za pomocą własnego AI."

Kampania, według oświadczenia, była "prowadzona przez autonomiczną strukturę agenta wykonującą wiele tysięcy indywidualnych działań w roju krótkotrwałych piaskownic, z samomigrującym się dowodzeniem i kontrolą hostowaną na publicznych usługach."

Atak wykorzystał dwie ścieżki wykonania kodu w potoku przetwarzania zbiorów danych Hugging Face i dotarł do wewnętrznych zbiorów danych oraz poświadczeń usług. OpenAI potwierdziło dzisiaj—pięć dni później—że jego modele stały za tym.

Aby przeanalizować ponad 17 000 zarejestrowanych zdarzeń atakującego, zespół bezpieczeństwa Hugging Face najpierw wypróbował amerykańskie AI graniczne za pośrednictwem standardowych API. Nie poszło dobrze.

"Kiedy rozpoczęliśmy analizę logów, najpierw użyliśmy modeli granicznych za komercyjnymi API," napisała firma. "To nie zadziałało: analiza wymaga przesyłania dużych ilości rzeczywistych poleceń ataku, ładunków exploitów i artefaktów C2."

„Te żądania zostały zablokowane przez zabezpieczenia dostawców, które nie potrafią odróżnić osoby reagującej na incydent od atakującego” – dodało Hugging Face.

Dlatego przeszli na GLM 5.2 – model o otwartej wadze z 753 miliardami parametrów (architektura w pełni publiczna, każdy może go pobrać i uruchomić lokalnie) od chińskiego startupu AI Z.ai. „Zamiast tego przeprowadziliśmy analizę kryminalistyczną na GLM 5.2, modelu o otwartej wadze, na własnej infrastrukturze” – napisało Hugging Face. „Miało to dodatkową korzyść: żadne dane atakującego ani żadne poświadczenia, do których się odwoływał, nie opuściły naszego środowiska.”

Prace kryminalistyczne – rekonstrukcja harmonogramu ataku, mapowanie naruszonych poświadczeń, oddzielenie rzeczywistych szkód od działań pozorowanych – zajęły godziny zamiast dni.

Hugging Face wyciągnęło bezpośrednią lekcję dla innych obrońców: „Miejcie sprawdzony i gotowy model, który możecie uruchomić na własnej infrastrukturze przed incydentem, aby uniknąć blokady przez zabezpieczenia i zapobiec opuszczeniu środowiska przez dane i poświadczenia atakującego.”

Co OpenAI robi w tej sprawie

OpenAI poinformowało, że wdrożyło ścisłe kontrole na infrastrukturze badawczej podczas łatania dotkniętych systemów, ujawniło lukę zero-day zewnętrznemu dostawcy, którego proxy zostało wykorzystane, i prowadzi wspólne dochodzenie kryminalistyczne z Hugging Face.

Hugging Face zostało również dodane do programu zaufanego dostępu do cyberobrony OpenAI – dając zatwierdzonym organizacjom dostęp do wersji swoich modeli ze zmniejszonymi filtrami bezpieczeństwa do legalnych prac związanych z bezpieczeństwem, tej samej konfiguracji, która zapoczątkowała całą tę sprawę.

CEO Hugging Face, Clem Delangue, miał celny komentarz: „Bezpieczeństwo AI nie zostanie rozwiązane przez żadną pojedynczą firmę działającą w tajemnicy. Zostanie rozwiązane otwarcie, we współpracy, z szerokim dostępem do AI dla każdego obrońcy, wszędzie.”

OpenAI nazwało incydent „dotyczący nowych, najnowocześniejszych zdolności cybernetycznych” i zobowiązało się do udostępnienia pełnych ustaleń po zakończeniu wspólnego dochodzenia z Hugging Face.