Spesifikasi GPU Compute Server — Kluster 16× B200 (Fase 2)
Disusun: 2026-07-27 · Status: permintaan pengadaan, belum berjalan
Catatan jalur: ini bukan order server standar. Ini jalur vendor/procurement (sistem terintegrasi + fasilitas daya/pendinginan), terpisah dari permintaan 6 host non-GPU.
1. Ringkas — untuk rapat
| OS | Ubuntu 24.04 LTS (atau DGX OS 7 jika vendor mengirim sistem DGX — basisnya Ubuntu 24.04) |
| Bentuk | 2 node × 8× B200 SXM (baseboard HGX/DGX B200 = 8 GPU per node) |
| Daya | ± 14,3 kW per node → ± 29 kW total. Ini angka yang biasanya jadi penghambat, bukan harga servernya |
| Ruang rak | ± 10U per node → 20U, di rak high-density (bukan rak 5–10 kW biasa) |
| Jaringan | InfiniBand NDR 400G untuk fabric antar-GPU + 100GbE untuk storage/in-band + BMC/IPMI out-of-band |
| Kenapa perlu | Rumah on-prem untuk model sintesis 397B yang sekarang masih di Alibaba DashScope (China) — itu isu kepatuhan UU PDP, bukan sekadar preferensi arsitektur |
2. OS — dan alasannya
Rekomendasi: Ubuntu 24.04 LTS
Lima alasan, urut dari yang paling menentukan:
- Konsistensi dengan seluruh platform. Host GPU yang ada sekarang sudah Ubuntu 24.04.3 LTS (kernel 6.8), dan 6 host non-GPU juga distandarkan ke Ubuntu 22.04/24.04 LTS. Satu distro = satu set runbook, satu cara patching, satu muscle memory tim ops. Menambah distro kedua hanya untuk kluster GPU berarti menduplikasi semua prosedur operasional untuk keuntungan nol.
- Ubuntu adalah jalur yang didukung resmi NVIDIA untuk Blackwell. Driver data-center untuk B200 (branch R570+, CUDA 12.8+) dirilis untuk Ubuntu LTS sebagai target utama. DGX OS milik NVIDIA sendiri dibangun di atas Ubuntu — jadi memilih Ubuntu berarti berada di jalur yang paling banyak diuji vendor, bukan jalur pinggir.
- Ekosistem runtime-nya cocok apa adanya. vLLM, PyTorch, dan image NGC semuanya berbasis Ubuntu. Wheel/prebuilt binary menargetkan glibc Ubuntu → jauh lebih sedikit kejutan kompatibilitas dibanding distro lain. Stack kita (vLLM + PaddleOCR + classifier) sudah berjalan persis di kombinasi ini.
- Masa dukungan panjang. 24.04 LTS: dukungan standar sampai 2029, ESM sampai 2034. Aman untuk aset yang umur pakainya 4–5 tahun.
- Kalau vendor mengirim sistem DGX B200 → pakai DGX OS 7 bawaan vendor. DGX OS 7 basisnya Ubuntu 24.04, jadi skill dan runbook tetap sama, plus dapat entitlement dukungan vendor + firmware/driver yang sudah tervalidasi sebagai satu bundel. Jangan menimpanya dengan Ubuntu generik — itu justru membuang jaminan dukungan.
Alternatif (kalau ada mandat)
RHEL 9.x juga didukung NVIDIA untuk B200. Pilih ini hanya jika ada mandat kontrak dukungan tingkat kementerian. Konsekuensinya: ops jadi terpecah dua distro dan sebagian tooling kita perlu penyesuaian. Rekomendasi tetap Ubuntu kecuali mandat itu memang ada.
Yang TIDAK direkomendasikan
Distro non-LTS, rolling release, atau distro tanpa dukungan driver data-center resmi NVIDIA. Untuk perangkat sekelas ini, "didukung vendor" lebih bernilai daripada "versi paling baru".
3. Spesifikasi hardware per node (×2 node)
| Komponen | Spesifikasi |
|---|---|
| GPU | 8× NVIDIA B200 SXM (Blackwell), 180 GB HBM3e per GPU → 1,4 TB memori GPU per node |
| Interkoneksi GPU | NVLink 5 + NVSwitch intra-node (wajib — inilah yang membuat 8 GPU berperilaku seperti satu kolam memori) |
| CPU | Dual socket kelas server terkini (Intel Xeon 5th/6th gen atau AMD EPYC Genoa/Turin), ≥ 56 core per socket |
| RAM sistem | ≥ 2 TB per node (patokan: 1,5–2× total memori GPU — untuk staging bobot model & data loader) |
| Disk OS | 2× 1,9 TB NVMe, RAID-1 |
| Disk data/cache | 8× 3,84 TB U.2 NVMe (bobot model, cache KV, dataset). Bobot 397B saja ± 400 GB per salinan FP8 |
| Fabric antar-GPU | 8× port InfiniBand NDR 400 Gb (atau 400GbE RoCEv2) — untuk tensor/pipeline parallel antar-node |
| Jaringan in-band | 2× 100GbE (storage + trafik aplikasi dari Gateway) |
| Manajemen | 1GbE BMC/IPMI out-of-band terpisah — wajib; kluster ini harus bisa di-power-cycle tanpa akses in-band |
| Power supply | Redundan (konfigurasi DGX B200: 6 PSU, 200–240V) |
4. Fasilitas — bagian yang biasanya jadi penghambat sebenarnya
Ini yang perlu dikonfirmasi tim fasilitas/data center sebelum PO ditandatangani. Server-nya bisa dibeli; ruangannya belum tentu siap.
| Aspek | Kebutuhan |
|---|---|
| Daya | ± 14,3 kW per node → ± 29 kW untuk 2 node. Perlu 3 fase, PDU redundan, sirkuit khusus |
| Kapasitas rak | Rak enterprise umum hanya 5–10 kW. Ini butuh rak high-density 30–40 kW — kemungkinan besar rak baru, bukan slot kosong di rak lama |
| Pendinginan | Air-cooled B200 butuh airflow sangat tinggi (front-to-back). Perlu containment cold/hot aisle; pertimbangkan rear-door heat exchanger atau liquid cooling kalau kapasitas pendinginan ruangan terbatas |
| Bobot | ± 130+ kg per node → cek floor loading rak & lantai |
| Ruang | ± 10U per node → 20U, plus ruang service depan-belakang |
| Lead time | Sistem kelas ini lead time-nya panjang (bulan, bukan minggu) — masukkan ke rencana, jangan diasumsikan tersedia cepat |
Ini alasan dokumen permintaan awal memisahkan kluster B200 dari 6 host non-GPU: yang satu form order server, yang satu proyek fasilitas.
5. Stack software (di atas OS)
| Lapisan | Versi/keterangan |
|---|---|
| Driver NVIDIA | Branch R570+ (minimum untuk Blackwell), CUDA 12.8+ |
| Fabric Manager | Wajib untuk sistem NVSwitch. Versinya harus sama persis dengan versi driver |
| Container runtime | Docker + Compose v2 + nvidia-container-toolkit (sama dengan platform saat ini) |
| Telemetri | DCGM + dcgm-exporter di port 9400 — sudah jadi standar telemetri platform (Observatory sudah membaca metrik ini, termasuk SM_ACTIVE) |
| InfiniBand | DOCA-OFED / MOFED + GPUDirect RDMA |
| Lisensi | Cek entitlement NVIDIA AI Enterprise kalau beli DGX/HGX — sering sudah termasuk, tapi harus dipastikan tercatat |
⚠️ Kebijakan driver — pelajaran dari host GPU sekarang
Pin versi driver NVIDIA dan kecualikan paket nvidia-* dari unattended-upgrades. Host GPU yang ada saat ini sedang dalam kondisi mismatch: modul kernel yang termuat 580.159.03, sementara paket yang terpasang sudah 580.173.02 karena auto-update — nvidia-smi gagal (Driver/library version mismatch) dan host menandai reboot required. Container yang sudah jalan masih aman karena modul lama masih termuat, tetapi telemetri DCGM di host itu kemungkinan besar sudah tidak melapor, dan container apa pun yang di-restart bisa gagal naik.
Untuk kluster B200, perlakukan upgrade driver sebagai tindakan terjadwal dengan reboot terencana, bukan efek samping patch bulanan.
6. Integrasi dengan platform (baseline yang sama dengan host lain)
- Posisi jaringan: zona GPU. Satu-satunya jalur masuk adalah dari Gateway (
ahu-ctrl-01:8200). Tidak ada jalur dari DMZ maupun internet — ini aturan keras di matrix firewall platform. - NTP/chrony wajib — urutan hash-chain audit & timer antrean bergantung pada jam yang konsisten antar-host.
- SSH key-only, hanya lewat bastion/VPN. Tidak ada SSH langsung dari internet.
- Firewall default-deny, allow eksplisit saja.
- Log rotation Docker (
/etc/docker/daemon.json:max-size 10m,max-file 3) — host GPU sekarang berulang kali kena disk penuh 88–94%; jangan diulang di kluster baru. - Alert disk 70%/85% + node-exporter, sama dengan 6 host lainnya.
- Monthly patch window — dengan pengecualian driver di atas.
7. Kenapa 16 GPU — dasar kapasitasnya
Tujuan utama: memindahkan tier sintesis 397B (Qwen3.5-397B-A17B) dari Alibaba Cloud DashScope (China) ke on-prem.
- Bobot model ± 400 GB pada FP8 (± 800 GB pada BF16), belum termasuk cache KV dan ruang untuk konkurensi.
- Box 2× H100 NVL yang ada sekarang (192 GB total) tidak mampu menampungnya — ini alasan tier sintesis masih memakai layanan cloud eksternal.
- 1 node = 8× B200 = 1,4 TB HBM → muat nyaman pada FP8 dengan ruang besar untuk cache KV dan banyak permintaan paralel.
- 2 node (16 GPU) memberi: kapasitas untuk beban selain sintesis (OCR, embedding, classifier, model kecil), ruang untuk pertumbuhan, dan opsi redundansi — kalau satu node turun untuk maintenance, layanan tidak mati total.
Nilai kepatuhannya: begitu kluster ini hidup, panggilan lintas negara ke China hilang — yang menutup temuan transfer data lintas negara UU PDP sekaligus memenuhi aturan platform sendiri (external_dev ditolak di produksi).