Inom AI är de data som bearbetas i minnet ofta de mest sårbara. Här är en översikt över hur @nvidia:s konfidentiella databehandling skyddar de data som används för att säkerställa att känsliga datauppsättningar, modellvikter och kod förblir skyddade under träning och slutsatsdragning. Detta är viktigt i miljöer med noll förtroende, reglerade miljöer eller miljöer med flera klientorganisationer. 🧵👇

2/6: Till skillnad från metoder med enbart programvara implementerar NVIDIA säkerhet på hårdvarulagret i sina GPU:er. Detta innebär att kryptering, isolering och attestering är inbyggda i kislet, vilket minskar risken för exponering även om systemprogramvaran komprometteras.

3/6: Det fungerar genom att data krypteras i GPU-minne och som till och med kan förbli säkra när de flyttas över NVLink-anslutningar via TEE-ingång/-utgång med nästan inbyggda hastigheter. Detta förhindrar obehörig åtkomst från andra processer, värdsystemet eller illvilliga aktörer med fysisk åtkomst eller åtkomst på programvarunivå.

4/6: Isolering uppnås genom NVIDIA:s partitioneringsfunktioner på hårdvarunivå, särskilt Multi-Instance GPU-teknik (MIG). MIG gör det möjligt att dela upp en enda fysisk GPU i flera helt isolerade instanser, var och en med sina egna dedikerade beräknings-, minnes- och cacheresurser. I konfidentiellt databehandlingsläge fungerar dessa instanser som säkra enklaver, vilket säkerställer att arbetsbelastningar som körs på en instans inte kan läsa eller störa dem på en annan. Den här isoleringsnivån är viktig för miljöer med flera klientorganisationer, till exempel molndistributioner, där flera kunders arbetsbelastningar delar samma fysiska maskinvara.

5/6: Attestering ger det kryptografiska beviset på att GPU:n och dess inbyggda programvara är i ett betrott, omanipulerat tillstånd innan arbetsbelastningar börjar köras. NVIDIA:s attesteringstjänster verifierar att hårdvaran är äkta, att dess firmware matchar en godkänd version och att den fungerar i konfidentiellt läge. Detta är viktigt i nollförtroendearkitekturer, eftersom det gör det möjligt för företag att se till att deras AI-arbetsbelastningar endast körs i säkra, verifierade miljöer. Attestering stöder också efterlevnad i reglerade branscher, där bevisbart maskinvaruförtroende är en förutsättning för att hantera känsliga data.

6/6: En av dess största fördelar är att du kan aktivera arbetsbelastningsskydd utan att ändra programkod! Det är helt enkelt en konfigurationsändring – perfekt för AI-pipelines för företag där omskrivning av modeller skulle vara kostsamt och störande. Läs mer här: !