Olmo 3: LLM Sepenuhnya Open-Source dari AI2 (Model, Data, & Kode)
Pendahuluan
Kami menyukai apa yang dilakukan Allen AI untuk menurunkan hambatan masuk, memberdayakan laboratorium universitas, peneliti independen, dan penggemar untuk berkontribusi pada generasi AI berikutnya. Yang kami maksud adalah rilis open-source mereka, khususnya Olmo 3, yang akan kami bahas lebih lanjut dalam artikel ini. Rilis Olmo 3 menawarkan akses komprehensif ke model, dataset, kode, log pelatihan, dan demo langsung. Tingkat transparansi dan aksesibilitas ini sangat jarang ditemui di bidang ini.
Prasyarat
Artikel ini mengasumsikan pembaca sudah familiar dengan pelatihan LLM (misalnya, pretraining, post-training). Untuk tinjauan menyeluruh tentang pelatihan LLM, kami merekomendasikan The Smol Training Playbook dari Hugging Face.
Tujuan dari artikel ini adalah untuk memberikan gambaran singkat tentang Olmo3 agar Anda dapat segera mencoba implementasinya. Kami berharap penyajian materi dalam bentuk tabel akan memberikan pandangan menyeluruh dari rilis ini, yang sudah dijelaskan secara lengkap di:
- Olmo 3 dan Renaisans LLM Terbuka oleh Cameron R. Wolfe
- Olmo 3: Menyusun jalur melalui aliran model untuk memimpin AI sumber terbuka | Ai2 (posting peluncuran Olmo 3 dari Allen AI)
- Kuliah Olmo 3 oleh Nathan Lambert
Selain itu, silakan merujuk pada Laporan Teknis Olmo 3 bersama dengan artikel ini untuk memberi Anda konteks tambahan tentang spesifikasi model dan alur pelatihan. Mengenal Olmo 2 mungkin berguna, karena Olmo 3 dibangun berdasarkan iterasi sebelumnya.
Poin Penting
- Model dasar Olmo 3 menjalani pretraining pada korpus teks umum (dolma 3 mix), midtraining dengan data yang ditargetkan & berkualitas tinggi (dolma 3 dolmino), dan perluasan konteks (dolma 3 longmino)
- Model yang telah dilatih setelah pelatihan termasuk Olmo 3 Instruct, Olmo 3 Think, dan Olmo-3 RL-Zero.
- AI2 menyediakan integrasi Olmo3 dengan OlmoTrace, sebuah alat yang memungkinkan Anda melihat bagaimana output model terhubung kembali ke data pelatihan awal tertentu.
Model ini dilatih sebelumnya dengan Dolma3 dan dilatih lanjutan dengan rangkaian Dolci.
Arsitektur Model
Dalam tabel di bawah ini, kami menguraikan fitur utama dari arsitektur Olmo 3.
| Spesifikasi | Relevansi |
|---|---|
| 7B dan 32B Parameter | Olmo 3 tersedia dalam dua versi: 32B dan 7B parameter. Perhatikan pada gambar di atas bagaimana model 7B memiliki jumlah kepala Query (Q) dan Key-Value (KV) yang sama, sedangkan model 32B memiliki kepala Q yang jauh lebih banyak dibandingkan KV. Ini karena model 32B menggunakan grouped query attention (GQA) sedangkan model 7B menggunakan multi-head attention (MHA). Untuk pengantar mengenai attention, lihat bagian attention dan variannya dalam artikel optimisasi inferensi LLM kami. Model ini cukup ringkas dan efisien untuk dijalankan di GPU konsumen kelas atas (7B) atau node penelitian tunggal (32B). |
| Transformer Padat | Sementara kita secara historis melihat banyak model dengan bobot terbuka menggunakan MoE (misalnya, Kimi-K2, gpt-oss), Olmo 3 menggunakan arsitektur transformer padat hanya-decoder. |
| Perhatian Jendela Geser (SWA) | Para peneliti memperkenalkan pola perhatian jendela geser (SWA) untuk memungkinkan pra-pelatihan yang dapat diskalakan pada panjang urutan yang diperluas sambil menjaga biaya inferensi tetap terkendali. Dalam pendekatan ini, setiap token memperhatikan token sebelumnya dalam jendela berukuran 4096 token. Para peneliti menerapkan SWA pada tiga dari setiap empat lapisan dan memastikan lapisan terakhir selalu menggunakan perhatian penuh. |
| Embedding Posisi Rotary Θ=5e5 | RoPE mengenkripsi posisi melalui rotasi vektor query dan key tergantung pada posisi token. Pengenalan posisi sangat penting karena attention tidak memperhatikan urutan token input. Lihat gambar 13 di makalah Olmo3 untuk memahami bagaimana nilai theta RoPE sebesar 500K menjadi kontributor utama terhadap skor pada benchmark RULER. |
| Benang | YaRN (Yet another RoPE-scaling method) adalah teknik hemat komputasi yang dirancang untuk memperluas jendela konteks secara efisien dari model berbasis transformer. Para peneliti mencoba beberapa metode untuk memperluas RoPE melewati panjang konteks pra-pelatihan asli (lihat bagian 3.6.4). Mereka menemukan bahwa menerapkan YaRN hanya pada lapisan perhatian penuh menghasilkan kinerja terbaik. |
Kurasi Data
| Nama Dataset | Ukuran | Deskripsi & Tujuan |
|---|---|---|
| Dolma 3 | ~9,3 triliun token | Korpus lengkap yang diambil dari halaman web, PDF ilmiah, basis kode, masalah matematika, dan ensiklopedia. |
| Dolma 3 Campuran | 5,9 triliun token (~6T) | Campuran pretraining yang dibuat dari Dolma 3. Ini menampilkan proporsi kode dan data matematika yang lebih tinggi dengan dekontaminasi/dedupikasi yang kuat. allenai/olmo-3-pre-training |
| Dolma 3 Dolmino | 100 miliar token | Campuran mid-training yang dibuat dari Dolma 3. Campuran ini berfokus pada matematika, sains, kode, dan pemahaman bacaan berkualitas tinggi untuk meningkatkan keterampilan tertentu sebelum penyetelan akhir. allenai/dolma3_dolmino_pool |
| Dolma 3 Longmino | ~50 miliar token | Campuran long-context yang dibuat dari Dolma 3. Ini menggabungkan dokumen panjang (dari kumpulan 639B) dengan data pelatihan menengah untuk mengajarkan model melacak informasi dalam input panjang (hingga 65K token). allenai/dolma3_longmino_pool |
| Dolci Suite | Variabel (Tergantung campuran) | Suite data pasca-pelatihan. Ini berisi campuran berbeda untuk SFT (penalaran/penggunaan alat), DPO (preferensi kontrastif), dan RLVR (hadiah yang dapat diverifikasi). allenai/olmo-3-pasca-pelatihan |
| Fungsi/Tahap | Jenis | Deskripsi |
|---|---|---|
| Pelatihan Awal | Pelatihan awal | Fase awal terdiri dari tiga sub-tahap: pembelajaran kemampuan secara luas, pelatihan menengah (pemolesan keterampilan), dan perpanjangan konteks jangka panjang. |
| SFT | Post-Training | Fine-Tuning Terawasi. Digunakan untuk menyelaraskan output mentah model ke dalam format tertentu (misalnya, chat, pemikiran langkah demi langkah). |
| DPO | Post-Training | Optimasi Preferensi Langsung. Metode penyetelan di mana model belajar dari data preferensi (memilih jawaban yang “lebih baik” daripada yang “lebih buruk”). |
| RLVR | Post-Training | Pembelajaran Penguatan dengan Hadiah yang Dapat Diverifikasi. Tahap RL khusus yang digunakan untuk memunculkan jejak penalaran berkualitas tinggi dengan memberikan hadiah pada hasil yang benar dan dapat diverifikasi (misalnya, dalam matematika atau kode). |
OlmoTrace
OlmoTrace memungkinkan pengguna menandai teks dan melacak kembali ke sumbernya dalam data pelatihan. Ini membantu memeriksa halusinasi, mendeteksi kontaminasi (membedakan penalaran dari hafalan), dan mempelajari hukum skala dengan melacak bagaimana penalaran muncul seiring dengan bertambahnya data pelatihan dan kemampuan komputasi.
Olmo3 di Linux-Console.net
Linux-Console.net memiliki GPU Droplets yang dapat Anda gunakan untuk mencoba-coba dengan model ini.
Postingan blog Olmo3 menampilkan figur interaktif yang memungkinkan Anda melihat tahap pelatihan dan dataset terkait.
| Alat | Deskripsi |
|---|---|
| Inti Olmo | Kerangka kerja canggih untuk pelatihan model terdistribusi. Basis kode pra-pelatihan yang dirancang untuk memaksimalkan efisiensi. Dokumen: OLMo-core v2.4.0 |
| Buka Instruct | Rangkaian pasca-pelatihan |
| peta-data-rs | Perangkat alat Pure-Rust untuk pembersihan skala besar |
| duplodokus | Untuk deduplikasi fuzzy yang sangat efisien |
| OLMES | Sebuah toolkit untuk evaluasi yang dapat direproduksi. Ini termasuk OlmoBaseEval, yang digunakan untuk pengembangan model dasar Olmo 3 |
| dekon | Menghapus set pengujian dari data pelatihan |
Referensi dan Sumber Tambahan
Olmo 3 | Siaran Langsung dengan Hugging Face Bagaimana Kami Membangun Model Penalaran Terdepan (Olmo 3)
Olmo 3: Menyusun jalur melalui aliran model untuk memimpin AI sumber terbuka | Ai2
Perbandingan Arsitektur LLM Besar oleh Sebastian Raschka
LLMs-dari-nol/ch05/13_olmo3/standalone-olmo3.ipynb di main
Olmo 3 dan Renaisans LLM Terbuka oleh Cameron R. Wolfe
Pertanyaan yang Sering Diajukan
Mengapa para peneliti menggunakan hybrid sharded data parallel (HSDP)?
Tim Olmo 3 menggunakan Hybrid Sharded Data Parallel (HSDP) terutama untuk meningkatkan efisiensi dan skalabilitas pelatihan. HSDP menggabungkan manfaat Fully Sharded Data Parallel (FSDP) di dalam setiap node dan Data Parallel standar di seluruh node. Pendekatan ini mengurangi overhead komunikasi antar-node, yang sangat penting pada skala besar, dan memungkinkan sinkronisasi parameter serta gradien yang lebih efisien selama pembaruan model. Dengan membatasi operasi yang memerlukan komunikasi intensif hanya di dalam node, HSDP memungkinkan skalabilitas yang lebih baik dan pelatihan yang lebih cepat untuk model besar seperti Olmo 3 Base.
Bagaimana data dikurasi untuk Olmo 3?
| Panggung | Sumber Data Utama | Sorotan Pemrosesan | Tujuan |
|---|---|---|---|
| Pelatihan Awal | Common Crawl [A.2.1], PDF olmOCR, Stack-Edu (kode), arXiv, FineMath, Wikipedia/Wikibooks. | Deduplicasi (hash/MinHash) [A.2.2], penyaringan kualitas (fastText), pencampuran dengan batas token, peningkatan sampel data berkualitas tinggi. | Bangun fondasi yang beragam dan berkualitas tinggi (6T token). |
| Pelatihan Tengah | Matematika sintetis (TinyMATH, CraneMath), kode (Stack-Edu, Nemotron), QA (Reddit-to-Flashcards), jejak penalaran. | Microanneals untuk pengujian dataset, pengujian integrasi, dekontaminasi, inklusi sengaja dari data instruksi/pemikiran. | Tingkatkan kemampuan matematika, pemrograman, penalaran, dan QA (100 miliar token). |
| Ekstensi Konteks Panjang | olmOCR PDF (dokumen panjang), tugas agregasi sintetis. | Penyaringan dokumen (gzip), pengemasan, pemaskeran intra-dokumen, YaRN untuk embedding posisi. | Aktifkan konteks 65K-token dengan dokumen bentuk panjang (50B–100B token). |
| Pasca-Pelatihan (Berpikir) | Jejak penalaran (OpenThoughts3, SYNTHETIC-2), prompt matematika/kode/chat, pasangan DPO [4.3.1] (model Qwen3). | Tahap SFT/DPO/RL, hadiah yang dapat diverifikasi, pembelajaran delta untuk pasangan kontras. | Optimalkan untuk penalaran (matematika, kode, obrolan) dan kepatuhan instruksi yang tepat. |
| Pascapelatihan (Instruksikan) | Data pemanggilan fungsi, WildChat, prompt IF yang tepat, DPO multi-putaran, respons dengan panjang terkontrol. | Fokus pada kegunaan, penggunaan alat, dan output yang ringkas; RL untuk obrolan umum dan pemanggilan fungsi. | Optimalkan untuk kemudahan penggunaan chat, integrasi alat, dan kehematan kata. |
| Pasca-Latihan (RL-Zero) | Matematika yang disaring (DAPO, Omega), subset kode/IF/chat, evaluasi yang telah dibersihkan. | RL-dari-nol dengan imbalan yang dapat diverifikasi; templat prompt sederhana. | Uji algoritme RL dengan data yang transparan dan bebas kontaminasi. |
Bagaimana para peneliti membuat pelatihan RL 4 kali lebih efisien?
Para peneliti menggabungkan pembaruan bobot saat penerbangan alias pipeline RL, batching kontinu (penggantian prompt dinamis untuk menghindari waktu GPU menganggur), dan banyak peningkatan threading.
Pemikiran Akhir
Olmo 3 adalah rilis yang mengesankan. Pipeline pelatihan tiga tahap model ini (pra-pelatihan pada Dolma 3 Mix, pelatihan menengah pada Dolma 3 Dolmino, dan perpanjangan konteks panjang pada Dolma 3 Longmino) telah menghasilkan sejumlah model pasca-latihan, termasuk Instruct, Think, dan RL-Zero, yang dioptimalkan untuk kemampuan yang berbeda-beda. Kami sangat antusias mendengar bagaimana orang memanfaatkan akses ke model, dataset, kode, dan log pelatihan.
Terima kasih telah belajar bersama Komunitas Linux-Console.net.