NVIDIA mengumumkan NVIDIA NIM, rangkaian layanan mikro inferensi baru yang bertujuan menyederhanakan penerapan model AI untuk pengembang perusahaan. Layanan mikro ini dirancang untuk bekerja dengan lancar baik di lingkungan lokal maupun cloud, memungkinkan Anda memanfaatkan kemampuan AI dengan aman dan efisien. NVIDIA NIM adalah bagian dari ekosistem NVIDIA AI Enterprise yang mempercepat iterasi cepat dan pengembangan solusi AI generatif yang canggih.

Proses penerapan NIM mudah digunakan, memungkinkan pengembang meluncurkan model AI yang dioptimalkan dalam waktu 5 menit menggunakan satu container. Ini dapat berjalan di berbagai sistem dengan akselerasi GPU NVIDIA, termasuk infrastruktur cloud, pusat data, stasiun kerja, dan PC. Bagi yang tidak ingin menerapkan container, NVIDIA juga menyediakan opsi untuk membuat prototipe aplikasi menggunakan NIM API yang tersedia di Katalog API.

NVIDIA menekankan pentingnya keamanan dan kontrol data untuk memastikan sumber daya perusahaan terlindungi saat menggunakan layanan kami. Perusahaan mendukung berbagai model yang disempurnakan, termasuk model yang ditingkatkan dengan teknologi seperti LoRA, untuk memastikan akurasi tertinggi. Selain itu, NVIDIA telah menstandardisasi titik akhir inferensi AI untuk memungkinkan integrasi yang lancar dengan kerangka aplikasi AI generatif populer seperti LangChain, LlamaIndex, dan Haystack.

Pengembang yang tertarik menggunakan NVIDIA NIM dapat menemukan panduan dan dokumentasi komprehensif dari NVIDIA. Perusahaan juga menawarkan penerapan sampel dan dukungan integrasi bagi pengembang yang ingin memasukkan NIM ke dalam aplikasi mereka. Dengan mengintegrasikan NIM, pengembang dapat memperoleh manfaat dari inferensi model yang cepat dan andal serta kompatibel dengan berbagai alat AI generatif yang sudah ada. saus: