Scopri le architetture GPU @nvidia 🐰 Hopper vs ⚙️ Blackwell—salti successivi nella potenza di calcolo e nelle interconnessioni per i tuoi carichi di lavoro AI👇

🐰 Hopper (H100 e H200) ha introdotto i Tensor Cores di quarta generazione + un FP8 Transformer Engine, offrendo fino a 9× di velocità di addestramento e 30× di velocità di inferenza rispetto all'A100. ⚙️ Blackwell (B200)—in spedizione a fine 2024—accoppia due chip su un NV-HBI da 10 TB/s, aggiunge FP4 e utilizza NVLink-5 per fino a 30× di inferenza in cluster.

@nvidia 🐰 Specifiche Hopper Core Tensor: misti FP8/FP16/TF32 Memoria: - H100 → 80 GB HBM3 @ 3.35 TB/s - H200 → 141 GB HBM3e @ 4.8 TB/s NVLink: fino a 900 GB/s per GPU

@nvidia 🐰 Hopper in azione I benchmark mostrano che H200 alimenta l'inferenza di Llama-2 70B dal 45% al 100% più veloce rispetto a H100. ⚠️ Entrambi hanno subito carenze di fornitura nel 2023–25. 💻 Su Hyperbolic’s cloud: VM H100 e cluster bare-metal con Ethernet + InfiniBand a partire da $1.49/ora. H200 e B200 tramite preventivo istantaneo.

@nvidia ⚙️ Blackwell Innovations - Design del chiplet (TSMC 4NP, 208 B transistor, 10 TB/s NV-HBI) - Motore Transformer di 2ª generazione: FP4 + FP8 migliorato - NVLink-5: 18 collegamenti @ 1.8 TB/s totali - Motore di decompressione: 800 GB/s CPU↔GPU - Full RAS & Computazione riservata

📊 Confronto delle prestazioni H100 SXM: 80 GB @ 3,35 TB/s, 3,96 PFLOPS (FP8), 1,98 PFLOPS (FP16), 67 TFLOPS (FP32), NVLink 900 GB/s, 700 W H200 SXM: 141 GB @ 4,8 TB/s, stessi PFLOPS/TFLOPS di calcolo, NVLink 900 GB/s, 700 W HGX B200: 180 GB @ 7,7 TB/s, 9 PFLOPS (FP8), 4,5 PFLOPS (FP16), 75 TFLOPS (FP32), NVLink 1,8 TB/s, 1000 W

@nvidia ❓ Cos'è un FLOP? 1 operazione in virgola mobile (somma/moltiplicazione) 1 TFLOP = 10¹² operazioni/s 1 PFLOP = 10¹⁵ operazioni/s = 1000× un TFLOP Questi metriche mostrano quanto velocemente le GPU elaborano i massicci calcoli dietro l'addestramento dell'IA e l'HPC.

@nvidia 🔚 Conclusione: 🐰 Hopper ha alzato l'asticella con FP8 mixed-precision e pipeline asincrone. ⚙️ Blackwell spinge la prossima generazione con FP4, più memoria, NVLink-5. H100 rimane il cavallo da lavoro—noleggia a $1.49/ora. H200 e B200 disponibili su richiesta via

@nvidia Leggi l'articolo completo su: