Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố NVIDIA NIM, một bộ vi dịch vụ suy luận mới nhằm đơn giản hóa việc triển khai mô hình AI cho các nhà phát triển doanh nghiệp. Các vi dịch vụ này được thiết kế để hoạt động liền mạch trong cả môi trường tại chỗ và đám mây, cho phép bạn tận dụng các khả năng AI một cách an toàn và hiệu quả. NVIDIA NIM là một phần của hệ sinh thái NVIDIA AI Enterprise nhằm tăng tốc độ lặp lại và phát triển nhanh chóng các giải pháp AI tiên tiến.

Quá trình triển khai của NIM thân thiện với người dùng, cho phép các nhà phát triển khởi chạy các mô hình AI được tối ưu hóa trong vòng 5 phút bằng một vùng chứa duy nhất. Điều này có thể chạy trên nhiều hệ thống được tăng tốc GPU NVIDIA, bao gồm cơ sở hạ tầng đám mây, trung tâm dữ liệu, máy trạm và PC. Đối với những người không muốn triển khai vùng chứa, NVIDIA cũng cung cấp tùy chọn tạo nguyên mẫu ứng dụng bằng cách sử dụng API NIM có sẵn trong Danh mục API.

NVIDIA nhấn mạnh tầm quan trọng của việc kiểm soát và bảo mật dữ liệu để đảm bảo tài nguyên của công ty được bảo vệ khi sử dụng dịch vụ của chúng tôi. Công ty hỗ trợ nhiều mô hình tinh chỉnh khác nhau, bao gồm cả những mô hình được cải tiến bằng công nghệ như LoRA, để đảm bảo độ chính xác cao nhất. Ngoài ra, NVIDIA đã tiêu chuẩn hóa các điểm cuối suy luận AI của mình để cho phép tích hợp trơn tru với các khung ứng dụng AI tổng quát phổ biến như LangChain, LlamaIndex và Haystack.

Các nhà phát triển quan tâm đến việc sử dụng NVIDIA NIM có thể tìm thấy các hướng dẫn và tài liệu toàn diện từ NVIDIA. Công ty cũng cung cấp hỗ trợ triển khai và tích hợp mẫu cho các nhà phát triển muốn kết hợp NIM vào ứng dụng của họ. Bằng cách tích hợp NIM, các nhà phát triển có thể hưởng lợi từ khả năng suy luận mô hình nhanh và đáng tin cậy, tương thích với nhiều công cụ AI tổng hợp đã được thiết lập. nước xốt: