Cara menjalankan model Nemotron 3 dengan bobot terbuka di GPU Droplet

Pendahuluan

NVIDIA telah mengumumkan penambahan terbaru ke keluarga model Nemotron mereka, Nemotron 3. Ada tiga model terpisah dalam keluarga Nemotron 3 yang akan dirilis, termasuk Nano, Super, dan Ultra, yang masing-masing memiliki 30, 49, dan 253 miliar parameter dengan panjang konteks hingga 1 juta token. Nano dirilis pada Desember 2025, dan Super serta Ultra dijadwalkan akan dirilis kemudian pada 2026. Model-model ini dirilis di bawah lisensi model terbuka NVIDIA, sehingga dapat digunakan secara komersial dan dimodifikasi, serta memberikan kepemilikan dan kendali penuh atas hasil yang dihasilkan. Baik bobot maupun data pelatihan tersedia secara terbuka di Hugging Face. Tutorial ini akan membahas model-model ini dan bagaimana cara men-deploy Nano yang saat ini tersedia di Linux-Console.net GPU Droplet.

Poin Penting

  • NVIDIA telah mengumumkan Nemotron 3, tambahan baru untuk lini model Nemotron mereka. Nemotron 3 terdiri dari tiga model baru, yaitu Nano (30B), Super (49B), dan Ultra (253B).
  • Per Januari 2026, model terkecil, Nano, adalah satu-satunya yang saat ini tersedia untuk digunakan. Super dan Ultra dijadwalkan akan dirilis nanti pada tahun 2026.
  • Semua model bersifat open-weight, memungkinkan akses terbuka untuk penggunaan komersial dan modifikasi. Arsitektur model menggunakan peningkatan efisiensi yang inovatif untuk meningkatkan throughput model.

Gambaran Model

Model Nemotron 3 menggunakan arsitektur hibrida Mamba-Transformer Mixture of Experts yang dirancang untuk meningkatkan kecepatan pembuatan token, yang juga dikenal sebagai throughput. Ini berarti model memiliki lapisan self-attention yang lebih sedikit dan sebaliknya menggunakan lapisan Mamba-2 (state space model) dan lapisan Mixture-of-Experts (MoE) yang secara komputasi lebih murah dan lebih cepat, terutama untuk urutan input yang lebih panjang. Hal ini memungkinkan model Nemotron 3 memproses teks yang lebih panjang lebih cepat sambil menggunakan lebih sedikit memori dan sumber daya. Beberapa lapisan attention disertakan di tempat yang diperlukan untuk menjaga akurasi setinggi mungkin.

NVIDIA menggambarkan masing-masing dari ketiga model tersebut sebagai dioptimalkan untuk platform yang berbeda. Nano menawarkan efisiensi biaya untuk tugas-tugas agen tertentu tanpa mengorbankan akurasi. Super memberikan akurasi tinggi untuk penalaran multi-agen. Ultra memaksimalkan akurasi penalaran.

Nano adalah yang terkecil dari ketiganya dan kinerjanya sebanding dengan Qwen3-30B dan GPT-OSS-20B. Ini adalah satu-satunya dari ketiganya yang tersedia per Januari 2026.

Nano dapat digunakan untuk tugas yang memerlukan penalaran maupun yang tidak memerlukan penalaran, dengan opsi untuk mematikan kemampuan penalaran melalui flag di template obrolan. Respons akan kurang akurat jika penalaran dinonaktifkan dalam konfigurasi.

Nano adalah arsitektur hibrida Mixture-of-Experts (MoE) yang terdiri dari 23 lapisan Mamba-2 dan MoE serta enam lapisan perhatian, dengan setiap lapisan MoE mencakup 128 ahli ditambah satu ahli bersama. Lima ahli diaktifkan per token, sehingga 3,5 miliar dari total 30 miliar parameter menjadi aktif.

Super dan Ultra keduanya menggunakan LatentMoE dan lapisan Prediksi Multi-Token (MTP) yang semakin meningkatkan kecepatan generasi teks. MTP adalah kemampuan untuk memprediksi beberapa token sekaligus dalam satu proses forwarding, bukan hanya memprediksi satu token. LatentMoE adalah pendekatan baru dalam menetapkan pakar yang mengecilkan ukuran data input yang perlu diproses setiap pakar guna mengurangi jumlah komputasi per token. Mereka menggunakan efisiensi ini untuk menambah jumlah pakar yang dapat digunakan untuk setiap token.

Dalam makalah putih NVIDIA tentang rilis tersebut, mereka menjelaskan bahwa Super dioptimalkan untuk beban kerja seperti otomatisasi tiket TI di mana agen kolaboratif menangani beban kerja dalam volume besar. Ultra adalah opsi yang digunakan ketika akurasi dan kinerja penalaran menjadi yang terpenting.

Langkah 1 — Membuat Droplet GPU

Untuk memasang Nemotron 3 Nano di GPU Droplet Linux-Console.net, pertama, masuk ke akun Linux-Console.net Anda dan buat sebuah GPU Droplet.

Pilih AI/ML-Ready sebagai image Anda dan pilih NVIDIA H100. Tambahkan atau pilih Kunci SSH, lalu buat Droplet Linux-Console.net.

Langkah 2 — Menghubungkan ke Droplet GPU Anda

Setelah Droplet Linux-Console.net dibuat, Anda SSH (Secure Shell) ke instance server Anda. Buka command line Anda dan masukkan perintah berikut, menggantikan nilai placeholder your_server_ip yang disorot dengan IPv4 Publik dari instance Anda. Anda dapat menemukan IP tersebut di bagian Connection Details pada Dashboard Instance GPU Anda.

ssh root@your_server_ip

Anda mungkin menerima pesan yang berbunyi:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

Jika iya, Anda bisa mengetik yes dan menekan ENTER.

Langkah 3 — Menginstal Python dan vLLM

Selanjutnya, verifikasi bahwa Anda masih berada di instance Linux, dan instal Python.

sudo apt install python3 python3-pip

Ini mungkin memberitahu Anda bahwa ruang tambahan akan digunakan dan menanyakan apakah Anda ingin melanjutkan. Jika ya, ketik Y dan tekan ENTER.

Jika Anda menerima pesan “Daemons menggunakan pustaka yang usang” yang menanyakan layanan mana yang ingin di-restart, Anda dapat menekan ENTER.

Setelah Python selesai diinstal, instal vLLM.

pip install vllm

Paket ini mungkin memerlukan sedikit waktu untuk diinstal. Setelah selesai diinstal, unduh parser kustom dari Hugging Face.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

Parser kustom menafsirkan penalaran dan markup pemanggilan alat Nemotron-3 Nano v3 sehingga vLLM dapat memberikan respons dengan benar dan mengarahkan pemanggilan alat.

Langkah 4 — Menyajikan Model Nemotron

Tentukan dengan tepat model mana yang ingin Anda gunakan dengan menggunakan ID model dari Hugging Face.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

The max-num-seqs adalah jumlah maksimum output yang dapat diproses secara bersamaan. Dalam contoh ini, Anda dapat memproses hingga delapan permintaan dengan output tunggal sekaligus.

tensor-parallel-size adalah jumlah GPU yang Anda gunakan untuk menyebarkan model melalui paralelisme tensor. Satu sama dengan satu GPU. max-model-len adalah jumlah maksimum token per permintaan. trust-remote-code diperlukan untuk template obrolan khusus Nemotron dan logika parsing.

Akhirnya, parameter reasoning-parser-plugin dan reasoning-parser memuat dan memilih parser penalaran kustom.

Setelah model dimuat dan disajikan di instance Anda dengan vLLM, Anda dapat melakukan panggilan inferensi ke endpoint menggunakan Python secara lokal atau dari server lain. Buat file Python bernama example_vllm_request.py dan jalankan kode berikut. Ganti your_server_ip dengan alamat IP Droplet GPU Anda.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

Anda akan melihat output yang mirip dengan berikut ini:

The capital of France is **Paris**.

Jika Anda mencetak seluruh objek response.json(), Anda dapat melihat token penalarannya. Jika Anda ingin menjalankannya dengan penalaran dinonaktifkan, Anda dapat menambahkan parameter chat_template_kwargs pada objek data di atas.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

Pertanyaan yang Sering Diajukan

Apa persyaratan perangkat keras dan memori GPU yang dibutuhkan untuk menjalankan Nemotron 3 Nano secara lokal?

Nemotron 3 Nano dapat dijalankan pada GPU dengan setidaknya 60 GB VRAM dalam presisi BF16, seperti A100 80 GB atau H100. Versi yang dikuantisasi mungkin memungkinkan untuk dijalankan pada GPU dengan memori lebih sedikit.

Apakah saya bisa menyetel Nemotron 3 Nano dengan data saya sendiri, dan apa implikasi lisensinya?

Ya, model Nemotron 3 dirilis di bawah lisensi model terbuka NVIDIA, yang memungkinkan penggunaan komersial, modifikasi, dan penyempurnaan. Anda tetap memiliki kepemilikan penuh atas setiap output yang dihasilkan dan dapat menyempurnakan model tersebut pada dataset kustom untuk kebutuhan spesifik Anda.

Apa perbedaan antara arsitektur Mixture-of-Experts (MoE) dan model transformer tradisional dalam hal biaya inferensi?

Arsitektur MoE hanya mengaktifkan lima dari 128 pakar per token (3,5 miliar dari 30 miliar parameter), membuat inferensi jauh lebih efisien dibandingkan model padat tradisional.

Apakah NVIDIA pernah merilis LLM lain di masa lalu?

Ya, NVIDIA telah merilis sejumlah besar model dan dataset terbuka, termasuk versi model Nemotron lainnya, Megatron, model ASR, dan lainnya.

Kesimpulan

Keluarga Nemotron 3 adalah model terbuka yang relatif efektif dan efisien dengan inferensi cepat dan hasil yang akurat. Versi terkecil, Nano, saat ini tersedia sejak Januari 2026, dan dua versi yang lebih besar akan tersedia dalam beberapa bulan mendatang.

Dalam tutorial ini, Anda telah menyebarkan Nemotron 3 Nano di GPU Droplet Linux-Console.net. Selanjutnya, Anda dapat membangun alur kerja yang menggunakannya untuk aplikasi yang sensitif terhadap data dan membutuhkan tingkat privasi serta kontrol yang tinggi.

Terima kasih telah belajar bersama Komunitas Linux-Console.net.