Zanurz się w architekturach GPU @nvidia 🐰 Hopper vs ⚙️ Blackwell—kolejne skoki w mocy obliczeniowej i połączeniach dla Twoich zadań AI👇

🐰 Hopper (H100 i H200) wprowadził rdzenie Tensor 4. generacji + silnik transformatorowy FP8, co zapewnia do 9× szybsze trenowanie i 30× szybsze wnioskowanie w porównaniu z A100. ⚙️ Blackwell (B200) - wysyłka pod koniec 2024 r. - łączy dwie kości w NV-HBI 10 TB/s, dodaje FP4 i używa NVLink-5 do wnioskowania klastra do 30×.

🐰 @nvidia Specyfikacja zbiornika Rdzenie tensorowe: mieszane FP8/FP16/TF32 Pamięć: - H100 → 80 GB HBM3 @ 3,35 TB/s - H200 → 141 GB HBM3e @ 4,8 TB/s NVLink: do 900 GB/s na kartę graficzną

🐰 @nvidia Hopper w akcji Testy porównawcze pokazują, że H200 zasila wnioskowanie Llama-2 70B o 45–100% szybciej niż H100. ⚠️ W obu przypadkach w latach 2023-25 odnotowano załamania podażowe. 💻 W chmurze Hyperbolic: maszyny wirtualne H100 i klastry bare-metal z Ethernet + InfiniBand od 1,49 USD/godz. H200 i B200 za pośrednictwem natychmiastowej wyceny.

⚙️ @nvidia Innowacje Blackwell - Konstrukcja chipletowa (TSMC 4NP, 208 B tranzystorów, 10 TB/s NV-HBI) - Silnik transformatora 2. generacji: 4PR + ulepszony FP8 - NVLink-5: 18 łączy @ łącznie 1,8 TB/s - Silnik dekompresyjny: procesor graficzny↔800 GB/s - Pełny RAS i poufne obliczenia

📊 Porównywanie wydajności H100 SXM: 80 GB @ 3,35 TB/s, 3,96 PFLOPS (8PR), 1,98 PFLOPS (16PR), 67 TFLOPS (32PR), NVLink 900 GB/s, 700 W H200 SXM: 141 GB @ 4,8 TB/s, te same obliczenia PFLOPS/TFLOPS, NVLink 900 GB/s, 700 W HGX B200: 180 GB @ 7,7 TB/s, 9 PFLOPS (8PR), 4,5 PFLOPS (16PR), 75 TFLOPS (FP32), NVLink 1,8 TB/s, 1000 W

❓ @nvidia Co to jest FLOP? 1 operacja zmiennoprzecinkowa (add/mul) 1 TFLOP = 10¹² operacji/s 1 PFLOP = 10¹⁵ ops/s = 1000× TFLOP Wskaźniki te pokazują, jak szybko procesory graficzne przetwarzają ogromną matematykę stojącą za szkoleniem AI i HPC.

🔚 @nvidia Podsumowanie: 🐰 Hopper ustawił poprzeczkę dzięki rurociągom FP8 o mieszanej precyzji i asynchroniczności. ⚙️ Blackwell promuje następną generację z FP4, więcej pamięci, NVLink-5. H100 pozostaje koniem roboczym - czynsz za 1,49 USD/godz. H200 i B200 dostępne na życzenie za pośrednictwem

@nvidia Przeczytaj cały artykuł pod adresem: