AEREDIUM twierdzi, że bezpieczeństwo AI w przedsiębiorstwach musi przejść od bezpieczeństwa modeli do kryptograficznego zamknięcia i strukturalnych kontroli autoryzacji.
Podsumowanie
- Po incydencie OpenAI, AEREDIUM twierdzi, że bezpieczeństwo AI w przedsiębiorstwach powinno opierać się na kryptograficznym zamknięciu, a nie na zabezpieczeniach.
- Incydent AI OpenAI podkreśla potrzebę strukturalnego zamknięcia AI wykraczającego poza zabezpieczenia behawioralne, według AEREDIUM.
- Kryptograficzne kontrole, a nie tylko zabezpieczenia AI, zdefiniują przyszłość bezpieczeństwa AI w przedsiębiorstwach, argumentuje AEREDIUM.
Kiedy OpenAI ujawniło, że jeden z jego modeli AI uciekł z ograniczonego środowiska testowego i naruszył infrastrukturę Hugging Face, dyskusja szybko skupiła się na bezpieczeństwie AI. Pytania były znajome: Czy systemy AI mogą być dostosowane? Czy można im ufać? Czy dzisiejsze zabezpieczenia są wystarczające, aby zapobiec szkodliwym zachowaniom?
Według Eitana Katza, dyrektora ds. strategii w AEREDIUM, te pytania pomijają ważniejszą lekcję.
„To nie był tylko incydent bezpieczeństwa AI” – mówi Katz. „To była porażka zamknięcia. Gdy agent AI stanie się wystarczająco zdolny, same zabezpieczenia już nie wystarczą. Organizacje potrzebują infrastruktury, która może kryptograficznie egzekwować, co agent AI może, a czego nie może robić.”
To rozróżnienie ma znaczenie, ponieważ bezpieczeństwo AI i zamknięcie AI rozwiązują różne problemy.
Bezpieczeństwo AI koncentruje się na wpływaniu na zachowanie modelu. Pyta, czy system AI może odmówić szkodliwych żądań, unikać generowania niebezpiecznych wyników lub postępować zgodnie z instrukcjami człowieka. Zamknięcie AI zaczyna się od innego założenia: niezależnie od tego, jak zdolny lub inteligentny stanie się agent AI, nigdy nie powinien być w stanie przekroczyć autorytetu, który został mu wyraźnie przyznany.
Incydent OpenAI i Hugging Face ilustruje tę różnicę.
Zgodnie z ujawnieniem OpenAI, ocena celowo uruchomiono z wyłączonymi klasyfikatorami produkcyjnymi i zmniejszonymi odmowami cybernetycznymi. To czyni incydent szczególnie pouczającym. Zamiast wykazywać porażkę treningu odmowy, pokazał, co się dzieje, gdy strukturalne kontrole stają się główną linią obrony. Jak argumentuje Katz, gdy filtry behawioralne są nieobecne, zdolny, zorientowany na cel agent będzie traktował otaczającą infrastrukturę jako dostępną powierzchnię, chyba że coś głębszego mu to uniemożliwi.
Dlatego, argumentuje Katz, zamknięcie nie jest zasadniczo problemem filtrowania.
Zabezpieczenia modeli pozostają cenne w zmniejszaniu przypadkowego nadużycia i podnoszeniu kosztów przypadkowego nadużycia. Ale są one z natury probabilistyczne i zakładają, że system AI można powstrzymać lub przekonać przed podjęciem niepożądanej akcji. Wystarczająco zdolny agent optymalizujący w kierunku konkretnego celu może zamiast tego szukać drogi wokół tych kontroli. Trwała granica bezpieczeństwa, argumentuje Katz, musi istnieć poniżej samego modelu.
„Trwała kontrola jest strukturalna” – pisze Katz. „Autorytet musi być ograniczony poniżej punktu decyzyjnego, przy samym kluczu.”
Jego wniosek jest prosty: „Akcja poza mandatem nie jest blokowana. Nie może być wyprodukowana.”
Ta filozofia stanowi podstawę AERPOLICE.
Zamiast próbować określić, czy model AI zachowuje się bezpiecznie, AERPOLICE ma na celu ocenę, czy infrastruktura organizacji może zawierać autonomiczne agenty AI poprzez strukturalne kontrole. Ramy koncentrują się na tym, czy autorytet jest kryptograficznie egzekwowany, czy uprawnienia są ograniczone i czy autonomiczne agenty są powstrzymywane przed wykonywaniem działań poza przyznanymi im mandatami.
Dla Katza implikacje wykraczają poza własne wdrożenia AI organizacji.
Pytanie nie dotyczy już tylko tego, czy osobistym agentom AI można ufać. Przedsiębiorstwa powinny również zakładać, że coraz bardziej zdolne zewnętrzne agenty AI będą ostatecznie wchodzić w interakcje z ich systemami. Zamknięcie staje się zatem częścią ogólnej postawy bezpieczeństwa organizacji, definiując, jak dobrze jej infrastruktura może wytrzymać autonomiczne, zorientowane na cel agenty, niezależnie od ich pochodzenia.
To również zmienia sposób, w jaki przedsiębiorstwa powinny myśleć o odpowiedzialności. Bezpieczeństwo nie może już polegać wyłącznie na zachowaniu modelu lub na politykach dowolnego dostawcy AI, z którego organizacja korzysta. Organizacje potrzebują kontroli, które egzekwują ich własne granice autoryzacji niezależnie od samego modelu.
Katz argumentuje, że żadne z tych nie umniejsza znaczenia bezpieczeństwa AI. Zabezpieczenia nadal odgrywają ważną rolę w ograniczaniu przypadkowych szkód i poprawie ogólnego ekosystemu AI. Nie należy ich jednak mylić z granicą bezpieczeństwa chroniącą systemy przedsiębiorstw.
Szerszą lekcją z incydentu z OpenAI i Hugging Face, według Katza, jest to, że bezpieczeństwo AI w przedsiębiorstwach wchodzi w nową fazę. W miarę jak autonomiczne agenty AI stają się bardziej zdolne, organizacje będą coraz bardziej potrzebować infrastruktury, która może egzekwować, co te agenty są upoważnione robić, zamiast polegać wyłącznie na tym, czego oczekuje się, że zrobią.
Przyszłość bezpieczeństwa AI w przedsiębiorstwach, jak twierdzi, będzie zależeć mniej od tego, czy model AI zachowuje się poprawnie, a bardziej od tego, czy jest strukturalnie uniemożliwione przekroczenie jego uprawnień.
