NVIDIA mengumumkan rangkaian baru layanan mikro NIM yang dirancang untuk memudahkan pengembangan AI pada PC AI NVIDIA RTX. Saat ini dalam versi beta, layanan mikro ini menyediakan model AI dasar bagi pengembang yang mencakup berbagai kemampuan, termasuk bahasa, ucapan, animasi, pembuatan konten, dan visi. API standar industri dibuat untuk memperlancar transisi dari eksperimen AI ke pembuatan aplikasi yang tangguh.

Perusahaan telah mengatasi kompleksitas integrasi AI pada PC dengan menawarkan model AI yang dikemas dan dioptimalkan untuk GPU NVIDIA. Layanan mikro NIM dikirimkan sebagai kontainer, yang memungkinkan layanan yang dihosting sendiri untuk model AI yang telah dilatih sebelumnya dan yang dapat disesuaikan. Layanan mikro ini dibangun di atas mesin inferensi yang telah dioptimalkan sebelumnya, yang memastikan kompatibilitas dan kinerja di seluruh platform NVIDIA, dari lingkungan cloud dan pusat data hingga PC dan stasiun kerja AI RTX.

GPU GeForce RTX 50 Series terbaru dari NVIDIA, yang mendukung komputasi FP4 dan menawarkan VRAM hingga 32 GB, dioptimalkan untuk inferensi AI dan dapat memberikan peningkatan kinerja hingga 2x. Layanan mikro NIM disesuaikan untuk memanfaatkan kemampuan GPU ini berdasarkan arsitektur NVIDIA Blackwell. Selain itu, NVIDIA telah bekerja sama dengan Microsoft untuk mengintegrasikan akselerasi CUDA ke dalam WSL2, yang memungkinkan pengembang untuk memanfaatkan toolkit kontainer Podman dan runtime untuk layanan mikro NIM pada PC AI RTX.

Pengembang memiliki akses ke berbagai layanan mikro NIM untuk berbagai aplikasi, termasuk model bahasa, pembuatan gambar, pemrosesan ucapan, dan visi komputer. Layanan ini dapat diunduh dari katalog API NVIDIA untuk diintegrasikan dengan kerangka kerja lain atau diakses melalui antarmuka NVIDIA RTX AI PC. NVIDIA berencana untuk merilis AI Blueprints dengan RTX AI PC untuk menyediakan contoh referensi dan dokumentasi guna mempercepat pembuatan alur kerja AI tingkat lanjut.