NVIDIA mengumumkan NVIDIA NIM Operator, operator Kubernetes baru yang dirancang untuk menyederhanakan penerapan dan pengelolaan layanan mikro NIM. Alat ini bertujuan untuk mengurangi kompleksitas yang terkait dengan penyiapan dan pemeliharaan model AI generatif yang semakin banyak digunakan di berbagai platform, termasuk lingkungan cloud, pusat data, dan stasiun kerja yang didukung GPU. . Operator NIM berjanji untuk menyederhanakan proses bagi para insinyur MLOps dan LLMOps serta administrator klaster Kubernetes dengan mengotomatiskan tugas-tugas seperti penskalaan dan pemantauan.

Penawaran terbaru perusahaan ini mencakup berbagai model AI yang dikemas sebagai layanan mikro untuk mendukung berbagai aspek alur kerja AI generatif. Misalnya, aplikasi AI percakapan dapat mengintegrasikan beberapa layanan mikro NIM seperti pemahaman bahasa, penyematan, dan pemeringkatan ulang. Operator NVIDIA NIM dirancang untuk mengurangi upaya manual yang terlibat dalam penerapan dan pengelolaan layanan ini, memungkinkan penskalaan dan manajemen siklus hidup yang mudah dengan input pengguna yang minimal.

Operator NIM NVIDIA juga memperkenalkan fitur-fitur seperti pra-cache model cerdas, yang bertujuan untuk mengurangi latensi dan mempercepat penskalaan otomatis model AI. Fitur ini sangat berguna di lingkungan dengan konektivitas terbatas, karena memungkinkan penerapan model dalam skenario celah udara. Selain itu, Operator ini mendukung penerapan otomatis jalur pipa AI menggunakan definisi sumber daya khusus (CRD) untuk layanan mikro individual dan jalur pipa kolektif, sehingga meningkatkan fleksibilitas dan efisiensi penerapan AI. .

Perusahaan menekankan kemudahan peningkatan dan pengelolaan layanan mikro NIM dengan Operator NIM, yang mendukung pembaruan berkelanjutan dan strategi yang dapat disesuaikan. Pada saat peluncurannya, Operator kompatibel dengan beberapa layanan mikro, namun kami berencana untuk memperluas dukungan di masa mendatang. Komitmen NVIDIA untuk mempercepat penerapan layanan mikro NIM dibuktikan dengan integrasi Operator NIM ke dalam rilis NVIDIA AI Enterprise di masa mendatang, sehingga memastikan dukungan dan keamanan tingkat perusahaan. Pihak yang berkepentingan dapat mengakses Operator NIM dari repositori NGC atau GitHub NVIDIA. Perusahaan mengundang pengguna untuk mengirimkan umpan balik dan pertanyaan teknis menggunakan pelacak masalah repositori.