Kluster GPU 16× B200 — Justifikasi OS + Detail Server (Meeting Dell)
Disusun: 2026-07-27 · Untuk: meeting langsung dengan Dell
Dokumen pendamping: Spesifikasi kluster B200
BAGIAN 1 — Kenapa Ubuntu 24.04 LTS, dan kenapa bukan yang lain
1.1 Posisi kita (satu kalimat untuk dibuka di meeting)
"Standar OS kami Ubuntu 24.04 LTS di seluruh platform — host GPU yang ada sekarang dan 6 host produksi non-GPU semuanya Ubuntu LTS. Kami ingin kluster B200 ini masuk ke standar yang sama. Mohon konfirmasi Ubuntu 24.04 LTS ada di support matrix Dell untuk SKU ini, dan OS apa yang dipakai Dell Validated Design untuk konfigurasi B200 tersebut."
Kenapa kalimat terakhir penting: entitlement dukungan mengikuti matrix validasi vendor. Kalau Dell memvalidasi di 22.04, kita ambil 22.04 — bukan karena kalah argumen, tapi karena "didukung vendor" lebih bernilai daripada "versi lebih baru" untuk sistem sekelas ini.
1.2 Argumen positif untuk Ubuntu (5 poin)
- Konsistensi operasional. Host GPU sekarang sudah Ubuntu 24.04.3 LTS (kernel 6.8); 6 host produksi non-GPU juga Ubuntu LTS. Satu distro = satu runbook, satu prosedur patching, satu skill set tim. Distro kedua berarti menduplikasi seluruh prosedur ops tanpa manfaat teknis apa pun.
- Jalur resmi NVIDIA untuk Blackwell. Driver data-center B200 (branch R570+, CUDA 12.8+) menargetkan Ubuntu LTS sebagai platform utama. DGX OS milik NVIDIA sendiri dibangun di atas Ubuntu — memilih Ubuntu = berada di jalur yang paling banyak diuji, bukan jalur pinggir.
- Ekosistem runtime cocok apa adanya. vLLM, PyTorch, dan image NGC semuanya berbasis Ubuntu. Stack produksi kami (vLLM + PaddleOCR + classifier + DCGM) sudah berjalan persis di kombinasi ini — bukan asumsi, sudah terbukti di host yang ada.
- Masa dukungan. 24.04 LTS: dukungan standar sampai 2029, ESM sampai 2034 — melampaui umur pakai aset 4–5 tahun.
- Ketersediaan SDM. Ubuntu jauh lebih umum di talent pool Indonesia untuk peran AI/ML infra dibanding SLES atau bahkan RHEL di konteks ini.
1.3 Tabel pembelaan — kenapa bukan OS lain
| OS | Kelebihan yang diakui | Kenapa tidak dipilih | Kapan ini justru menang |
|---|---|---|---|
| RHEL 9.x | Didukung penuh NVIDIA & disertifikasi Dell; standar di banyak instansi pemerintah; ada kontrak dukungan komersial | Tidak ada keunggulan teknis untuk beban GPU kami. Biayanya: subscription per-node plus memecah ops jadi dua distro (6 host non-GPU + host GPU eksisting semuanya Ubuntu). Tooling, image container, dan runbook kami berbasis Ubuntu — semua harus diadaptasi | Jika ada mandat kontrak dukungan tingkat kementerian yang mensyaratkan RHEL. Ini satu-satunya alternatif yang kami terima tanpa perdebatan |
| SLES 15 | Disertifikasi Dell, didukung NVIDIA | Basis pengguna paling kecil di ranah AI/ML; talent pool di Indonesia sangat tipis; stack kami belum pernah diuji di sana; dokumentasi komunitas paling sedikit | Praktis tidak ada, untuk kasus kami |
| Rocky Linux / AlmaLinux | Gratis, binary-compatible dengan RHEL | Tidak ada jalur dukungan berbayar — ini justru menggugurkan alasan membeli Dell ProSupport. Kalau ada masalah, risiko saling tunjuk antara Dell, NVIDIA, dan komunitas. Sertifikasi Dell & NVIDIA umumnya menyebut RHEL, bukan turunannya | Lab/dev internal, bukan sistem produksi pemerintah |
| CentOS Stream | Dekat dengan RHEL, gratis | Rolling/upstream — sasaran bergerak. Tidak layak untuk sistem produksi yang menyimpan data identitas dan jadi sistem pencatatan | Tidak pernah, untuk kasus ini |
| Debian | Stabil, basis dari Ubuntu | Sertifikasi Dell dan dukungan driver data-center NVIDIA tidak selengkap Ubuntu; opsi dukungan komersial minim. Ubuntu adalah Debian dengan keselarasan vendor yang lebih baik | Kalau tim sudah sangat Debian-centric — kami tidak |
| Windows Server | — | Ekosistem compute GPU data-center (vLLM, container CUDA, DCGM, NCCL) berbasis Linux. Non-starter | Tidak relevan |
| DGX OS | Divalidasi penuh NVIDIA | Hanya berlaku kalau membeli sistem NVIDIA DGX. Kalau jalurnya Dell PowerEdge, yang berlaku adalah validated design Dell. (Catatan: DGX OS basisnya Ubuntu — justru memperkuat pilihan Ubuntu) | Kalau akhirnya beli DGX, bukan Dell |
1.4 Ubuntu 24.04 vs 22.04 — kalau Dell menawarkan 22.04
Keduanya dapat diterima. Preferensi 24.04 karena umur dukungan lebih panjang dan kernel 6.8 lebih selaras dengan hardware enablement era Blackwell. Kalau Dell Validated Design untuk SKU ini dipin di 22.04, kami ambil 22.04 — mengikuti matrix validasi vendor lebih penting daripada selisih versi.
1.5 Kalimat penutup kalau ditekan
"Ini bukan preferensi selera. Seluruh platform kami sudah berjalan di Ubuntu LTS dan sudah terbukti dengan stack yang persis sama. Menambah distro kedua hanya untuk kluster ini menambah biaya operasional dan risiko, tanpa keuntungan teknis. Kalau Dell punya alasan validasi yang kuat untuk OS lain di SKU ini, kami mau dengar — selama itu tertulis di support matrix."
BAGIAN 2 — Detail server yang perlu disampaikan ke Dell
2.1 Kebutuhan inti
| Item | Kebutuhan |
|---|---|
| Total GPU | 16× NVIDIA B200 SXM (180 GB HBM3e per GPU) |
| Bentuk | 2 node × 8 GPU (baseboard HGX B200 = 8-GPU) |
| Kandidat SKU Dell | Kelas PowerEdge XE9680 / XE9680L (Intel) atau XE9685L (AMD EPYC) — mohon Dell konfirmasi SKU B200 yang aktif saat ini beserta opsi air-cooled vs liquid-cooled |
| Interkoneksi intra-node | NVLink 5 + NVSwitch (wajib — supaya 8 GPU berperilaku sebagai satu kolam memori 1,4 TB) |
| CPU | Dual socket, ≥ 56 core per socket (Xeon 5th/6th gen atau EPYC Genoa/Turin) |
| RAM | ≥ 2 TB per node (patokan 1,5–2× memori GPU) |
| Disk OS | 2× 1,9 TB NVMe, RAID-1 (BOSS-N1 atau setara) |
| Disk data | 8× 3,84 TB U.2 NVMe — bobot model 397B saja ± 400 GB per salinan FP8 |
| Fabric antar-node | 8× InfiniBand NDR 400 Gb per node (ConnectX-7/BlueField) — untuk tensor/pipeline parallel |
| Jaringan in-band | 2× 100GbE |
| Manajemen | iDRAC9 Datacenter (out-of-band; wajib — kluster harus bisa di-power-cycle tanpa akses in-band) |
| Power input | 220–240V, 3 fase (standar Indonesia), PSU redundan |
2.2 Yang sering terlupa di BoM — pastikan masuk kuotasi
- Switch InfiniBand (mis. NVIDIA Quantum-2 QM9700) — 2 unit untuk redundansi, bukan 1
- Kabel & transceiver IB NDR dan 100GbE — jumlahnya banyak dan harganya tidak kecil
- Rail kit, rak, dan PDU — apakah beli rak Dell atau pakai rak eksisting (lihat kendala daya di §2.3)
- CDU (Coolant Distribution Unit) + manifold kalau memilih varian liquid-cooled — ini item fasilitas tersendiri, bukan aksesori
- Jasa instalasi & deployment Dell (rack, stack, burn-in, validasi)
- Lisensi NVIDIA AI Enterprise — sering sudah bundled, tapi harus tercatat eksplisit
- Support tier: rekomendasi ProSupport Plus, respons onsite 4 jam, durasi 5 tahun (samakan dengan umur aset)
2.3 Kendala fasilitas kita — sampaikan lebih awal, ini penentu
Ini yang biasanya menghambat, bukan harga servernya. Sampaikan angkanya supaya Dell bisa mengarahkan air-cooled vs liquid-cooled:
| Aspek | Angka |
|---|---|
| Daya | ± 14,3 kW per node → ± 29 kW untuk 2 node. Butuh 3 fase + PDU redundan + sirkuit khusus |
| Kapasitas rak | Rak enterprise umum hanya 5–10 kW. Ini butuh rak high-density 30–40 kW — kemungkinan besar rak baru |
| Pendinginan | Air-cooled butuh airflow sangat tinggi + containment. Kalau kapasitas pendinginan ruangan terbatas, varian liquid-cooled (DLC) wajib dipertimbangkan — dan itu butuh CDU |
| Bobot | ± 130+ kg per node → cek floor loading rak & lantai |
| Ruang | ± 6–10U per node tergantung varian → siapkan 20U + ruang service depan-belakang |
BAGIAN 3 — Pertanyaan untuk Dell (bawa daftar ini)
OS & dukungan
1. Ubuntu 24.04 LTS ada di support matrix Dell untuk SKU ini? Kalau tidak, versi mana?
2. Dell Validated Design untuk konfigurasi B200 ini dites di OS apa?
3. Firmware/driver bundle: Dell yang menyediakan stack tervalidasi (driver + Fabric Manager + OFED), atau kami merakit sendiri dari NVIDIA?
Hardware & konfigurasi
4. SKU B200 yang aktif sekarang apa, dan tersedia varian air-cooled dan liquid-cooled-nya?
5. Kalau air-cooled: berapa kebutuhan airflow (CFM) dan suhu inlet maksimum?
6. Kalau liquid-cooled: CDU-nya termasuk dalam penawaran? Berapa kebutuhan suhu & flow rate air?
7. Konsumsi daya real-world per node pada beban inferensi penuh (bukan angka maksimum di datasheet)?
Logistik & layanan
8. Lead time dari PO sampai barang datang? (sistem kelas ini biasanya hitungan bulan)
9. Apakah termasuk jasa instalasi & validasi? Sampai tahap mana?
10. Support tier yang direkomendasikan untuk beban produksi 24/7, dan SLA-nya?
11. Kalau nanti mau ekspansi (misal jadi 4 node), apakah desain fabric ini bisa dikembangkan tanpa ganti switch?
BAGIAN 4 — Konteks kenapa 16 GPU (kalau Dell bertanya "kenapa segini")
- Tujuan: memindahkan tier sintesis 397B (Qwen3.5-397B-A17B) dari layanan cloud eksternal ke on-prem.
- Bobot model ± 400 GB pada FP8, belum termasuk cache KV dan ruang konkurensi.
- Box 2× H100 NVL yang ada sekarang (192 GB total) tidak mampu menampungnya — itu sebabnya tier sintesis masih di cloud eksternal, dan itu membawa isu kepatuhan transfer data lintas negara (UU PDP No. 27/2022).
- 1 node (8× B200 = 1,4 TB HBM) muat nyaman pada FP8 dengan ruang besar untuk cache KV.
- Node ke-2 untuk beban selain sintesis (OCR, embedding, classifier) + ruang tumbuh + opsi redundansi saat maintenance.
Jadi angka 16 bukan angka aspiratif — itu turunan dari ukuran model yang harus di-on-prem-kan plus beban produksi yang sudah berjalan hari ini.