NVIDIA GB200 NVL72의 주요 구성 요소

1. NVIDIA GB200 Grace Blackwell 슈퍼칩:
두 개의 NVIDIA Blackwell Tensor Core GPU
NVIDIA Grace CPU
NVLink-C2C(Chip-to-Chip) 인터페이스 (900GB/s 양방향 대역폭)

2. 컴퓨팅 트레이:
NVIDIA MGX 설계 기반
2개의 Grace CPU와 4개의 Blackwell GPU 포함
트레이당 80페타플롭의 AI 성능과 1.7TB의 고속 메모리 제공

3. 랙 구성:
72개의 Blackwell GPU
36개의 Grace CPU0
18개의 컴퓨팅 노드
NVLink Switch 시스템:
9개의 NVLink Switch 트레이
각 트레이는 144개의 NVLink 포트 (100GB 속도)

4. 냉각 시스템:
액체 냉각 시스템 사용

5. 네트워킹:
NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X800 Ethernet 플랫폼 지원
최대 800Gb/s 속도의 고급 네트워킹

6. 메모리:
랙당 30TB의 통합 메모리

7. 성능:
단일 랙에서 720페타플롭의 AI 훈련 성능
1.4 엑사플롭의 AI 추론 성능
NVIDIA BlueField-3 데이터 처리 장치:
클라우드 네트워크 가속화, 컴포저블 스토리지, 제로 트러스트 보안, GPU 컴퓨팅 탄력성 지원

이 시스템은 5세대 NVLink를 사용하여 최대 576개의 GPU를 단일 NVLink 도메인에 연결할 수 있으며, 총 대역폭 1PB/s 이상과 240TB의 고속 메모리를 제공합니다.