NVIDIA ha svelato ufficialmente la nuova architettura GPU Blackwell in occasione del GTC 2024, aprendo quindi la strada verso le prossime schede video RTX 50. NVIDIA ha ufficializzato i dettagli completi della sua architettura GPU AI e Tensor Core di prossima generazione, che sarà la prima presentare il design MCM in grado di incorporare due GPU sullo stesso die.
Dotate di 208 miliardi di transistor, le GPU con architettura Blackwell sono prodotte utilizzando un processo 4NP TSMC personalizzato con die GPU con limite di due reticoli collegati tramite collegamento chip-to-chip da 10 TB/s in un’unica GPU unificata. Alimentata dal nuovo supporto per lo scaling micro-tensore e dagli algoritmi avanzati di gestione della gamma dinamica di NVIDIA integrati nei framework NVIDIA TensorRT-LLM e NeMo Megatron, Blackwell supporterà il doppio delle dimensioni di elaborazione e dei modelli con la nuova intelligenza artificiale a virgola mobile a 4 bit di capacità di inferenza. Per accelerare le prestazioni dei modelli IA con svariati trilioni di parametri e una combinazione di esperti, l’ultima iterazione di NVIDIA NVLink offre un throughput bidirezionale rivoluzionario di 1,8 TB/s per GPU, garantendo una comunicazione continua ad alta velocità tra un massimo di 576 GPU per i LLM più complessi.
Le GPU basate su Blackwell includono un engine RAS dedicato per affidabilità, disponibilità e facilità di manutenzione. Inoltre, l’architettura Blackwell aggiunge funzionalità a livello di chip per utilizzare la manutenzione preventiva basata sull’intelligenza artificiale per eseguire la diagnostica e prevedere problemi di affidabilità. Ciò massimizza i tempi di attività del sistema e migliora la resilienza affinché le implementazioni di intelligenza artificiale su larga scala possano funzionare ininterrottamente per settimane o addirittura mesi alla volta e ridurre i costi operativi.
Funzionalità avanzate di elaborazione riservata proteggono i modelli di intelligenza artificiale e i dati dei clienti senza compromettere le prestazioni, con il supporto di nuovi protocolli di crittografia dell’interfaccia nativa, fondamentali per i settori sensibili alla privacy come i servizi sanitari e finanziari. Un engine di decompressione dedicato supporta i formati più recenti, accelerando le query del database per offrire le massime prestazioni nell’analisi dei dati e nella scienza dei dati. Nei prossimi anni, l’elaborazione dei dati, per la quale le aziende spendono decine di miliardi di dollari ogni anno, sarà sempre più accelerata dalle GPU.
Rispetto alla serie Hopper, la GPU NVIDIA Blackwell offre 128 miliardi di transistor in più, 5 volte le prestazioni AI che vengono aumentate a 20 PetaFlops per chip e 4 volte la memoria on-die. La GPU stessa è abbinata a 8 stack HBM3e con la soluzione di memoria più veloce al mondo, che offre 8 TB/s di larghezza di banda di memoria su un’interfaccia bus a 8192 bit e fino a 192 GB di memoria HBM3e. Per riassumere rapidamente i dati sulle prestazioni rispetto a Hopper, abbiamo:
- 20 PFLOPS FP8 (2,5x rispetto a Hopper)
- 20 PFLOPS FP6 (2,5x rispetto a Hopper)
- 40 PFLOPS FP4 (5.0x rispetto a Hopper)
- 740 miliardi di parametri per LLM (6.0x rispetto a Hopper)
- 34T/sec (5,0x rispetto a Hopper)
- NVLINK da 7,2 TB/s (4.0x rispetto a Hopper)
NVIDIA offrirà le GPU Blackwell come piattaforma completa, combinando due di queste GPU, ovvero quattro die di calcolo, con una singola CPU Grace (72 core CPU ARM Neoverse V2). Le GPU saranno interconnesse tra loro e con le CPU Grace utilizzando un protocollo NVLINK da 900 GB/s.
Il primo prodotto ad arrivare sul mercato sarà la NVIDIA Blackwell B200, la prima a utilizzare un design chiplet, caratterizzato da due die di calcolo basati sul nodo di processo TSMC a 4 nm. I chiplet forniscono una valida alternativa in cui NVIDIA può ancora ottenere prestazioni gen-over-gen più veloci senza compromettere la fornitura o i costi e questo è solo un trampolino di lancio nel suo percorso verso i chiplet. Incorpora un totale di 160 SM per 20.480 core, supportando la stessa architettura NVLink da 8 GPU e uno switch di rete da 400 GbE. Sarà anche molto onerosa in termini di energia con un TDP di picco di 700 W, anche se è lo stesso consumo dei chip H100 e H200. ù
NVIDIA GB200 Grace Blackwell Superchip
Oltre alla GPU Blackwell B200, NVIDIA ha annunciato anche i primi sistemi ufficiali che ospiteranno proprio le GPU Blackwell. Il Superchip di NVIDIA è progettato come la piattaforma per eccellenza per i carichi di lavoro AI e HPC. La piattaforma è disponibile in due configurazioni, una solo CPU e una variante CPU+GPU.
L’azienda ha annunciato due nuove soluzioni, il GB200 che è una combinazione della CPU Grace con la GPU Blackwell B100. Il lancio di questa soluzione è previsto per il 2024 e presenterà la stessa capacità di memoria HBM3e da 192 GB fino a 2700 W. Offre anche il supporto del protocollo più recente con PCIe 6.0 (2x 256 GB/s) e sarà compatibile sia con le piattaforme Hopper esistenti che con le ultime soluzioni dei produttori di data center.
Ogni GB200 Grace Blackwell Superchip sarà dotato di due GPU AI B200 e una singola CPU Grace con 72 core ARM Neoverse V2. La piattaforma offrirà 40 PetaFlops di prestazioni di elaborazione (INT8) e offrirà un enorme pool di memoria da 864 GB con il solo HBM a 16 TB/s di larghezza di banda di memoria. I chip saranno interconnessi utilizzando una larghezza di banda NVLINK veloce da 3,6 TB/s.
Due di queste piattaforme GB200 Grace Blackwell Superchip saranno incorporate all’interno di un nodo Blackwell Compute per un massimo di 80 PetaFLOP di prestazioni AI, 1,7 TB di memoria HBM3e, 32 TB/s di larghezza di banda di memoria e il tutto in un pacchetto MGX raffreddato a liquido. Questi chip saranno inseriti all’interno delle nuovissime piattaforme di elaborazione GB200 NVL72, ciascuna dotata di 18 compute tray in un rack per un massimo di 36 CPU Grace e 72 GPU Blackwell. Ogni rack sarà dotato di ConnectX-800G Infiniband SuperNIC e di una DPU Bluefield-3 (80 GB/s di larghezza di banda di memoria) per l’elaborazione in rete. L’azienda ospita anche i suoi ultimi switch NVLINK che dispongono di otto porte a 1,8 TB/s e fino a 14,4 TB/s di larghezza di banda aggregata.
In termini di prestazioni, la piattaforma GB200 Grace Blackwell Superchip offrirà un incremento di 30 volte nelle prestazioni dell’intelligenza artificiale rispetto alla piattaforma H200 Grace Hopper. NVIDIA Blackwell GB200 sarà disponibile su DGX Cloud entro la fine dell’anno dai principali OEM.
Fonte: NVIDIA