NVIDIA Rilis Nemotron 3.5 Lightning dan Router Terbuka untuk Agen AI
NVIDIA meluncurkan model Nemotron 3.5 Lightning dan NeMo Switchyard untuk memilih model yang sesuai pada setiap tahap pekerjaan agen AI, dengan pilihan pemrosesan lokal maupun cloud.
Ringkasan
NVIDIA memperkenalkan Nemotron 3.5 Lightning, model mixture-of-experts dengan 30 miliar parameter, bersama NeMo Switchyard yang dirilis sebagai pustaka sumber terbuka. Switchyard dirancang untuk merutekan sebuah tugas menuju model yang dianggap paling sesuai berdasarkan kualitas, latensi, biaya, atau lokasi pemrosesan.
Perusahaan menyatakan model barunya dapat menghasilkan keluaran hingga empat kali lebih cepat dan menyelesaikan tugas agen sekitar 30 persen lebih cepat dibandingkan model lain di kelasnya. Angka tersebut berasal dari pengujian NVIDIA sehingga masih memerlukan pembuktian independen pada beban kerja nyata.
Fakta utama
- Nemotron 3.5 Lightning memiliki 30 miliar parameter dengan arsitektur mixture-of-experts.
- NeMo Switchyard dapat merutekan permintaan ke campuran model terbuka, model NVIDIA, atau model tertutup.
- Prioritas perutean dapat disesuaikan untuk kualitas, kecepatan, biaya, atau kebutuhan penempatan data.
- NVIDIA menyebut model dapat berjalan pada RTX PC, DGX, Jetson, workstation, pusat data, dan cloud.
- Model tersedia melalui sejumlah layanan distribusi, sementara pustaka Switchyard disediakan melalui GitHub.
- Klaim peningkatan kecepatan merupakan hasil pengujian pihak NVIDIA, bukan tolok ukur independen.
Mengapa ini penting
Router model memungkinkan organisasi memakai model ringan untuk tugas sederhana dan model lebih kuat ketika penalaran yang lebih dalam dibutuhkan. Pendekatan ini dapat menekan biaya dan latensi, tetapi menambah lapisan keputusan yang harus diaudit.
Pilihan pemrosesan lokal juga dapat membantu organisasi menjaga data sensitif. Manfaat itu hanya nyata jika izin, log, pembaruan keamanan, dan kebijakan retensi diterapkan dengan benar.
Perspektif nilai
Efisiensi merupakan manfaat ketika tidak diperoleh dengan mengorbankan hak pengguna. Klaim performa perlu diuji secara jujur, lisensi dan sumber data harus jelas, serta pengguna perlu mengetahui model mana yang menerima informasinya.
Agen yang dapat mengambil tindakan harus diberi kewenangan minimum. Transaksi, penghapusan data, publikasi, atau keputusan yang berdampak besar semestinya memerlukan persetujuan manusia dan jalur pertanggungjawaban yang nyata.
Sikap yang perlu dijaga
- Bandingkan klaim vendor dengan pengujian pada beban kerja dan perangkat sendiri.
- Catat model tujuan, data yang dikirim, biaya, serta alasan router memilihnya.
- Batasi alat dan izin agen; jangan memberi akses luas hanya demi kemudahan konfigurasi.
Sumber
Tulisan ini merupakan ringkasan editorial orisinal berdasarkan sumber di atas. Informasi dapat berkembang dan bukan rekomendasi investasi maupun penetapan hukum agama.
