Devstral 2: Model Pemrograman Bobot Terbuka Baru Mistral

Pendahuluan

Model coding telah membuat kemajuan luar biasa tahun ini. GLM-4.5, Kimi-K2, dan Qwen-3 Coder semuanya merupakan rilis yang menonjol. Kami membahas Devstral versi asli lebih awal tahun ini dan tidak menyangka akan ada iterasi lain dari Mistral begitu cepat.

Devstral 2

Devstral 2 adalah keluarga baru LLM coding dan agen dari Mistral yang dirancang untuk rekayasa perangkat lunak, tersedia dalam ukuran parameter 24B dan 123B. Model 123B mencapai kinerja terbaik di SWE-bench dan unggul dalam coding, pemanggilan alat, dan penggunaan agen. Model 24B dapat berjalan dengan nyaman di RAM/VRAM 25GB, sementara 123B membutuhkan 128GB.

Dari segi arsitektur, keputusan Mistral untuk tetap menggunakan arsitektur padat untuk model 123B alih-alih Mixture of Experts (MoE) cukup menarik. Kami penasaran tentang apa yang membuat rasio kinerja-keefisiensi model ini begitu mengesankan. Model ini mendapatkan skor 72,2% di SWE-bench Verified dan mendukung jendela konteks 256K!!

Sementara varian 123B tidak bisa dijalankan di perangkat keras konsumen, varian 24B bisa. Devstral Small 2 mendapatkan skor 68,0% pada SWE-bench Verified.

Dalam artikel ini, kita akan mencoba Devstral 2.
Perlu dicatat bahwa parameter 123B memiliki lisensi MIT yang dimodifikasi dan versi parameter 23B memiliki lisensi Apache 2.0.

Prasyarat

Sebelum memulai tutorial ini, Anda akan membutuhkan:

Akun Linux-Console.net dengan akses ke GPU Droplets
Pemahaman dasar tentang baris perintah Linux

Menjalankan Devstral 2 di Linux-Console.net

Devstral 2 dirancang untuk GPU kelas pusat data dan membutuhkan setidaknya 4 GPU kelas H100 untuk berjalan.
Devstral Small 2 dirancang untuk berfungsi dengan satu GPU dan kompatibel dengan berbagai perangkat keras NVIDIA, seperti sistem DGX Spark dan GeForce RTX. Dukungan untuk NVIDIA NIM akan hadir dalam waktu dekat. Devstral Small dapat berjalan di GPU kelas konsumen dan juga bekerja pada pengaturan hanya CPU tanpa membutuhkan kartu grafis khusus.

Mulailah dengan menyiapkan Droplet GPU di Linux-Console.net.

Kami akan menjalankan implementasi unsloth. Sebenarnya kami hanya membutuhkan 25GB RAM/VRAM untuk versi ini. Salut untuk unsloth.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
   -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-2-123B-Instruct-2512-GGUF:UD-Q2_K_XL \
    --jinja -ngl 99 --threads -1 --ctx-size 16384 \
    --temp 0.15\

./llama.cpp/llama-cli \
    --model unsloth/Devstral-2-123B-Instruct-2512-GGUF/Devstral-2-123B-Instruct-2512-UD-Q2_K_XL.gguf \
    --mmproj unsloth/Devstral-2-123B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --threads -1 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

Pemikiran Akhir

Model-model ini dapat diintegrasikan dengan alur kerja, bekerja dengan IDE, CI/CD, dan pelacak masalah untuk memengaruhi pengembangan perangkat lunak. Coba saja dan beri tahu kami ya :)

Referensi dan Sumber Tambahan

Devstral 2 - Panduan Cara Menjalankan | Dokumentasi Unsloth Pengumuman Resmi Devstral 2 Mistral

Terima kasih telah belajar bersama Komunitas Linux-Console.net.