AI21 Labs baru-baru ini mengumumkan rangkaian model Jamba 1.5, rangkaian model bahasa skala besar (LLM) canggih yang cocok untuk berbagai tugas AI generatif. Tugas-tugas ini mencakup pembuatan konten, peringkasan dokumen, perbandingan, dan penggalian wawasan dari kumpulan data yang luas. Model ini memanfaatkan arsitektur hibrid yang menggabungkan struktur Transformer dan Mamba dengan modul Mix of Experts (MoE) untuk meningkatkan efisiensi, latensi, dan penanganan konteks yang panjang. Ini juga dirancang agar mudah diterapkan pada platform yang dipercepat, memungkinkan bisnis menjalankan aplikasi dengan aman dan dekat dengan data mereka.

Model Jamba 1.5, dioptimalkan dan dihosting oleh NVIDIA, kini dapat diakses melalui Katalog API NVIDIA. Model ini mengintegrasikan arsitektur Mamba, yang dikenal dengan manajemen konteks panjangnya, dan lapisan transformator yang memberikan kemampuan presisi dan inferensi. Modul MoE meningkatkan kapasitas model tanpa tuntutan komputasi tambahan. Setiap blok Jamba terdiri dari delapan lapisan dengan rasio perhatian terhadap Mamba 1:7 dan muat pada satu GPU NVIDIA H100 80 GB. Model ini juga menawarkan jendela konteks token 256 ribu, yang setara dengan sekitar 800 halaman teks, memungkinkan pemrosesan dan pembangkitan respons yang lebih tepat.

Fitur penting dari model Jamba 1.5 adalah fungsionalitas pemanggilan fungsi yang didukung oleh pertukaran data JSON. Hal ini meningkatkan interaktivitas AI, memungkinkan model melakukan tindakan kompleks dan memproses kueri data terstruktur. Keserbagunaan tersebut memungkinkan model untuk diterapkan di berbagai industri, mulai dari menghasilkan dokumen keuangan hingga membantu lingkungan ritel, semuanya dengan presisi real-time.

Selain itu, model Jamba 1.5 kompatibel dengan Search Augmentation Generation (RAG), yang meningkatkan kemampuannya dalam memberikan respons yang akurat dan sesuai konteks. Jendela konteks token yang diperluas memungkinkan model menangani informasi dalam jumlah besar, sehingga ideal untuk analisis data mendetail. RAG telah terbukti bermanfaat dalam lingkungan dengan basis pengetahuan yang luas dan terdistribusi, karena modelnya membantu menyederhanakan pencarian dan meningkatkan akurasi. Pihak yang berminat dapat menjelajahi model Jamba 1.5 di Katalog API NVIDIA. Katalog ini menampilkan berbagai model AI yang didukung oleh layanan mikro NVIDIA NIM untuk mengoptimalkan penerapan dalam aplikasi perusahaan. saus: