W naszym ostatnim poście na blogu pokazaliśmy, jak złamać schematy LLM chroniące prywatność — dekodując permutowane stany modelu z niemal idealną dokładnością. Dziś prezentujemy naszą obronę: Kaskada 🕵️ ♂️✨

Cascade zabezpiecza wnioskowanie LLM, dzieląc ukryte stany między strony za pomocą "shardingu tokenów" — każdy węzeł widzi tylko kilka tokenów w sekwencji. Im dalej od siebie znajdują się tokeny węzła, tym wyższy jest koszt ataku – rosnący wykładniczo wraz z odległością.

Kaskada zachowuje pełną wierność wnioskowania — bez przybliżeń, bez matematyki stałoprzecinkowej. Dzieli obliczenia między węzłami CompNodes (dla MLP) i AttnNodes (dla uwagi), zachowując dokładne wyniki na etapach rozproszonych.

Sednem Cascade jest schemat shardingu tokenów, który jest odporny zarówno na nasz atak rekonstrukcyjny, jak i znane ataki oparte na uczeniu się. W artykule wykazaliśmy, że nasze podejście, zwane shardingiem δ, zapewnia silną prywatność bez uszczerbku dla wierności.

Przeprowadzamy szeroko zakrojone eksperymenty nad zabezpieczeniem Cascade przed atakami opartymi na uczeniu się. Chociaż brakuje formalnych gwarancji SMPC, wykazaliśmy, że przy wystarczającej liczbie węzłów Cascade jest empirycznie odporny na te ataki.

Najważniejszą zaletą Cascade jest szybkość i skalowalność. W porównaniu z istniejącymi schematami SMPC, takimi jak MPCFormer i Puma, Cascade jest o 2 rzędy wielkości szybszy, nawet w najbezpieczniejszym ustawieniu, które testowaliśmy (72 uczestników):

Motywacją do projektu Cascade była potrzeba znalezienia nowego paradygmatu w kompromisie między prywatnością, bezpieczeństwem i skalowalnością. Wierzymy, że jego podstawowa idea - token-sharding - zapewnia równowagę i otwiera nowy kierunek dla LLM chroniących prywatność.

Nasza praca zarówno nad atakiem, jak i Cascade została zaakceptowana na ICML 2025 i zostanie zaprezentowana 16.07 o godzinie 16:30 czasu pacyficznego w Hali Wystawowej Wschodniej A-B, w sali E-2612 w Vancouver Convention Center. Przyjdź i porozmawiaj z nami! 🔗

Dołącz do nas na Ritual social w ICML. Poznaj nasz zespół badawczy ds. sztucznej inteligencji i kryptowalut, zrelaksuj się ze wspaniałymi ludźmi i zakończ dzień we właściwy sposób. To idealny rytuał. Zarejestruj się tutaj: