En nuestra última publicación de blog, mostramos cómo romper los esquemas de LLM que preservan la privacidad, decodificando estados de modelos permutados con una precisión casi perfecta. Hoy, presentamos nuestra defensa: Cascade 🕵️ ♂️✨

Cascade asegura la inferencia de LLM dividiendo los estados ocultos entre las partes a través de la "fragmentación de tokens": cada nodo solo ve unos pocos tokens en secuencia. Cuanto más separados estén los tokens de un nodo, mayor será el costo de un ataque, que crece exponencialmente con la distancia.

Cascade conserva la fidelidad total en la inferencia, sin aproximaciones, sin matemáticas de punto fijo. Divide el cálculo entre CompNodes (para MLP) y AttnNodes (para atención), preservando los resultados exactos en las etapas distribuidas.

El quid de Cascade es un esquema de fragmentación de tokens que es robusto tanto para nuestro ataque de reconstrucción como para los ataques conocidos basados en el aprendizaje. Demostramos en el documento que nuestro enfoque, llamado fragmentación de δ c, logra una fuerte privacidad sin comprometer la fidelidad.

Realizamos experimentos extensos sobre la seguridad de Cascade contra ataques basados en el aprendizaje. Si bien carece de las garantías formales de SMPC, demostramos que con suficientes nodos, Cascade es empíricamente robusto a estos ataques.

El beneficio más significativo de Cascade es la velocidad y la escalabilidad. En comparación con los esquemas SMPC existentes como MPCFormer y Puma, Cascade es 2 órdenes de magnitud más rápido, incluso la configuración más segura que probamos (72 participantes):

Cascade fue motivado por la necesidad de encontrar un nuevo paradigma en la compensación entre privacidad, seguridad y escalabilidad. Creemos que su idea central, la fragmentación de tokens, logra ese equilibrio y abre una nueva dirección para los LLM que preservan la privacidad.

Nuestro trabajo tanto en el ataque como en Cascade fue aceptado en ICML 2025 y se presentará el 16/7 a las 4:30 p. m. PST en East Exhibition Hall A-B, Room E-2612, en el Centro de Convenciones de Vancouver. ¡Ven a charlar con nosotros! 🔗

Únase a nosotros para el evento social Ritual en ICML. Conozca a nuestro equipo de investigación de IA y criptografía, relájese con excelentes personas y termine su día de la manera correcta. Es el ritual perfecto. Regístrese aquí: