LTX-2 Membawa Generasi Audio-Visual Open-Source yang Akhirnya Menyamai Sora dan VEO

Selama setahun terakhir, pembuatan video telah menjadi salah satu aplikasi teknologi AI yang paling menjanjikan. Dengan banyaknya video OpenAI Sora, Google VEO, dan Kling AI di berbagai media sosial, pembuatan video AI pada dasarnya tidak bisa dihindari dalam lanskap online modern. Hal ini memiliki banyak implikasi jangka panjang, tetapi kegunaan teknologi ini sebaiknya tidak diremehkan atau diabaikan.

Teknologi sumber terbuka memang tertinggal dari model proprietary ini untuk beberapa waktu sekarang. Meskipun mereka bisa menghasilkan video berkualitas tinggi dalam berbagai gaya dengan kepatuhan prompt yang baik, seperti pada Wan2.2, mereka kurang dalam hal pembuatan audio yang dipasangkan. Meskipun model Sound-to-Video milik Wan merupakan langkah ke arah yang benar, ada terlalu banyak kurva kesulitan dalam menggunakan model-model ini untuk benar-benar memanfaatkannya dalam hal seperti pembuatan konten. Keterbatasan besar ini telah menahan teknologi sumber terbuka ini untuk menjangkau audiens yang lebih luas dan non-teknis serta dunia perusahaan.

Semua itu siap berubah dengan LTX-2. Sebagai langkah nyata maju untuk pembuatan video sumber terbuka, LTX-2 tak diragukan lagi adalah teknologi pembuatan video paling kuat yang pernah dibuka sebagai sumber terbuka. Singkatnya, "LTX-2 adalah model dasar audio-video berbasis DiT yang dirancang untuk menghasilkan video dan audio yang sinkron dalam satu model." Perpaduan yang kuat ini, dikombinasikan dengan desain model yang efisien yang memungkinkan dijalankan di GPU kelas konsumen, menjadikan LTX-2 alat yang tangguh untuk membuat video.

Dalam tutorial ini, kita akan menelusuri bagaimana LTX-2 bekerja saat kita mengeksplorasi alur arsitekturnya, dan kemudian menunjukkan cara menjalankan LTX-2 di Linux-Console.net Gradient menggunakan ComfyUI.

Poin Penting

  • LTX-2 adalah langkah maju yang nyata untuk pembuatan video, menyatukan pemodelan audio dan video dalam satu alur kerja
  • LTX-2 mudah dijalankan di Gradient AI menggunakan GPU NVIDIA
  • LTX-2 tersedia untuk dijalankan secara gratis sekarang di Hugging Face

LTX-2: Cara kerjanya

LTX-2 adalah model generasi video-audio yang terpadu. Intinya, model ini terdiri dari transformer aliran ganda asimetris yang memiliki aliran video dan audio yang dipasangkan dengan “lapisan perhatian silang audio-video dua arah dengan embedding posisi temporal dan AdaLN lintas-modality untuk pengkondisian timestep bersama.” (Sumber). Penyatuan ini memungkinkan generasi kedua aliran yang lebih efisien, dengan alokasi kapasitas yang lebih besar untuk generasi video dibandingkan generasi audio.

Kita dapat melihat arsitektur model di atas. Dalam praktiknya, sinyal video dan audio mentah dikodekan menjadi token laten spesifik modalitas melalui VAE kausal, sedangkan teks diproses melalui jalur embedding yang disempurnakan. Sebuah transformer difusi aliran ganda kemudian secara bersamaan menghapus kebisingan dari latensi audio dan video, memanfaatkan perhatian silang audiovisual dua arah dan kondisioning teks untuk menghasilkan output audio-visual yang sinkron.

Untuk mewujudkan hal ini, tim Lightricks membuat beberapa kemajuan dalam teknologi Computer Vision dan generasi Audio. Secara khusus, makalah LTX-2 memberikan empat kontribusi utama yang dibuat untuk rilis ini:

-Arsitektur Dual-Stream Asimetris yang Efisien: backbone berbasis transformer yang menampilkan aliran khusus modalitas yang terhubung melalui cross-attention dua arah dan cross-modality AdaLN untuk pengkondisian timestep bersama.

  • Blok Pemrosesan Teks dengan Token Berpikir: mereka juga mengembangkan modul pengkondisian teks baru yang menggunakan prediksi multi-token untuk meningkatkan pemahaman prompt dan stabilitas semantik.
  • Representasi Audio Neural Kompak: untuk memproses audio, mereka menciptakan Variational AutoEncoder (VAE) audio kausal yang efisien yang menghasilkan ruang laten 1D berkualitas tinggi, dioptimalkan untuk pelatihan dan inferensi berbasis difusi.
  • Panduan Tanpa Klasifikasi dengan Kesadaran Modality: Skema konfigurasi Bimodal baru yang memungkinkan kontrol independen atas skala panduan lintas-modal, secara signifikan meningkatkan penyelarasan audiovisual

Secara keseluruhan, ini menghasilkan model video open-source paling efisien yang tersedia, yang menggabungkan pembuatan video dan audio dalam satu jalur proses.

Demo: LTX-2 dengan ComfyUI di GPU Droplet

Sekarang setelah kita melihat bagaimana model bekerja, kita bisa mulai dengan demo. Untuk memulai, masuklah ke Linux-Console.net Gradient, dan buat Droplet GPU. Kami merekomendasikan GPU NVIDIA H100 atau H200 untuk menjalankan LTX-2, tetapi LTX-2 juga seharusnya dapat dijalankan dengan baik di NVIDIA A6000. Setelah Droplet Anda aktif, akses melalui SSH menggunakan terminal di komputer lokal Anda.

Menyiapkan GPU Droplet

Ikuti petunjuk yang dijelaskan dalam tutorial ini untuk menyiapkan GPU Droplet Anda jika Anda belum pernah melakukannya sebelumnya. Kemudian, Anda akan menggunakan SSH untuk mengakses GPU Droplet di mesin lokal Anda menggunakan VS Code atau Cursor. Biarkan jendela terminal dan jendela VS Code/Cursor yang terhubung tetap terbuka untuk nanti.

Menyiapkan ComfyUI & Mengunduh Model

Menggunakan jendela terminal yang terhubung ke GPU Droplet, navigasikan ke direktori pilihan Anda. Setelah di sana, tempel kode berikut untuk menginstal ComfyUI pada GPU Droplet, mengunduh model yang diperlukan untuk LTX-2, lalu jalankan ComfyUI dan akses dengan VS Code/peramban sederhana Cursor:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Setelah ini selesai, ambil URL yang dihasilkan (defaultnya adalah http://127.0.0.1:8188) dan gunakan fitur Simple Browser di VS Code/Cursor untuk mengaksesnya di browser mesin lokal Anda.

Menjalankan LTX-2

Untuk menjalankan alur kerja LTX-2 sekarang, kita dapat menavigasi ke sisi kiri jendela untuk mengakses ikon template di bilah sisi. Klik ikon tersebut, lalu cari dan pilih template "LTX-2 Text to Video". Ini akan menyelesaikan pengaturan kita. Jika kita sekarang mengklik jalankan, kita akan mendapatkan video default berupa boneka yang menyanyi tentang hujan. Kita tidak bisa membagikan video di platform ini, tetapi berikut adalah gif dari video tersebut tanpa suara.

Dari sini, kita bisa mengklik jendela prompt untuk memodifikasi video output, dan juga mengubah ukuran/panjang video. Kami menyarankan untuk mencoba semua ide Anda. Model ini sangat hebat dalam membuat video dengan suara, jadi pastikan untuk menyertakan prompt dengan ucapan yang "dikutip", petunjuk suara, dan musik.

Untuk pembuatan Video dari Gambar, kembali ke menu pemilihan template dan cari template "LTX-2 Image to Video". Anda kemudian bisa memasukkan gambar apa pun yang telah Anda buat atau ambil di dunia nyata, dan menganimasikannya dengan prompt. Misalnya, kita bisa memberitahu gambar diam dari pemandangan pantai untuk berubah menjadi animasi video penuh dengan ombak yang menghantam, camar yang berteriak, dan pantai yang berangin. Berikut adalah contohnya:

Dari percobaan kami jelas terlihat bahwa, setidaknya untuk rilis pertama LTX-2 ini, kemampuan teks-ke-video jauh melampaui kemampuan gambar-ke-video. Ini agak mengecewakan, tetapi kami berharap hal ini akan diperbaiki pada iterasi model berikutnya, yang dijanjikan akan hadir oleh tim LTX-2 Lightricks.

Pemikiran Penutup

LTX-2 mungkin adalah model paling mengesankan yang pernah kami coba di bidang video. Bahkan lebih dari VEO-3 dan Sora 2, kami tercengang dengan kecepatan dan kemudahan akses dari model open-source ini. Kami mendorong semua orang untuk mencoba model ini di Gradient hari ini!

Terima kasih telah belajar bersama Komunitas Linux-Console.net.