Dans notre dernier article de blog, nous avons montré comment briser les schémas LLM préservant la confidentialité - décodage des états de modèle permutés avec une précision presque parfaite. Aujourd’hui, nous vous présentons notre défense : Cascade 🕵️ ♂️✨

Cascade sécurise l’inférence LLM en répartissant les états cachés entre les parties via le « token sharding » : chaque nœud ne voit que quelques tokens dans l’ordre. Plus les jetons d’un nœud sont éloignés, plus le coût d’une attaque est élevé, et sa croissance exponentielle avec la distance est élevée.

Cascade conserve une fidélité totale dans l’inférence : pas d’approximations, pas de mathématiques en virgule fixe. Il répartit le calcul entre CompNodes (pour les MLP) et AttnNodes (pour l’attention), en préservant les résultats exacts à travers les étapes distribuées.

L’essentiel de Cascade est un schéma de token-sharding qui résiste à la fois à notre attaque de reconstruction et aux attaques connues basées sur l’apprentissage. Nous démontrons dans l’article que notre approche, appelée sharding c-δ, permet d’obtenir une confidentialité forte sans compromettre la fidélité.

Nous effectuons des expériences approfondies sur la sécurité de Cascade contre les attaques basées sur l’apprentissage. Bien qu’il n’ait pas les garanties formelles de SMPC, nous démontrons qu’avec suffisamment de nœuds, Cascade est empiriquement robuste à ces attaques.

L’avantage le plus important de Cascade est la vitesse et l’évolutivité. Par rapport aux systèmes SMPC existants tels que MPCFormer et Puma, Cascade est 2 ordres de grandeur plus rapide, même le paramètre le plus sécurisé que nous avons testé (72 participants) :

Cascade a été motivé par la nécessité de trouver un nouveau paradigme dans le compromis entre la confidentialité, la sécurité et l’évolutivité. Nous pensons que son idée de base, le token-sharding, trouve cet équilibre et ouvre une nouvelle direction pour les LLM préservant la confidentialité.

Notre travail sur l’attaque et Cascade a été accepté à l’ICML 2025 et sera présenté le 16/7 à 16h30 PST dans le hall d’exposition A-B de l’Est, salle E-2612, au Centre des congrès de Vancouver. Venez discuter avec nous ! 🔗

Venez nous rejoindre pour le Ritual social à l’ICML. Rencontrez notre équipe de recherche sur l’IA et les cryptomonnaies, détendez-vous avec des gens formidables et terminez votre journée de la bonne façon. C’est le rituel parfait. Inscrivez-vous ici :