Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố NVIDIA NIM Operator, một nhà điều hành Kubernetes mới được thiết kế để hợp lý hóa việc triển khai và quản lý các dịch vụ vi mô NIM. Công cụ này nhằm mục đích giảm bớt sự phức tạp liên quan đến việc thiết lập và duy trì các mô hình AI tổng quát đang ngày càng được sử dụng trên nhiều nền tảng khác nhau, bao gồm môi trường đám mây, trung tâm dữ liệu và máy trạm hỗ trợ GPU. . NIM Operator hứa hẹn sẽ đơn giản hóa quy trình cho các kỹ sư MLOps và LLMOps cũng như quản trị viên cụm Kubernetes bằng cách tự động hóa các tác vụ như mở rộng quy mô và giám sát.

Sản phẩm mới nhất của công ty bao gồm nhiều mô hình AI được đóng gói dưới dạng dịch vụ vi mô để hỗ trợ các khía cạnh khác nhau của quy trình làm việc AI tổng hợp. Ví dụ: các ứng dụng AI đàm thoại có thể tích hợp nhiều dịch vụ vi mô NIM như hiểu ngôn ngữ, nhúng và sắp xếp lại. NVIDIA NIM Operator được thiết kế để giảm nỗ lực thủ công liên quan đến việc triển khai và quản lý các dịch vụ này, cho phép quản lý vòng đời và mở rộng quy mô dễ dàng với đầu vào tối thiểu của người dùng.

NIM Operator của NVIDIA cũng giới thiệu các tính năng như bộ đệm trước mô hình thông minh, nhằm mục đích giảm độ trễ và tăng tốc độ tự động điều chỉnh quy mô của các mô hình AI. Tính năng này đặc biệt hữu ích trong các môi trường có khả năng kết nối hạn chế vì nó cho phép triển khai mô hình trong các tình huống không có khoảng cách. Ngoài ra, Nhà điều hành này hỗ trợ triển khai tự động các quy trình AI bằng cách sử dụng định nghĩa tài nguyên tùy chỉnh (CRD) cho cả vi dịch vụ riêng lẻ và quy trình tập thể, tăng tính linh hoạt và hiệu quả của việc triển khai AI. .

Công ty nhấn mạnh sự dễ dàng trong việc nâng cấp và quản lý các dịch vụ vi mô NIM với Nhà điều hành NIM, hỗ trợ các bản cập nhật luân phiên và các chiến lược có thể tùy chỉnh. Tại thời điểm phát hành, Operator tương thích với một số vi dịch vụ nhưng chúng tôi dự định mở rộng hỗ trợ trong tương lai. Cam kết của NVIDIA trong việc đẩy nhanh việc áp dụng các dịch vụ vi mô NIM được chứng minh bằng việc tích hợp NIM Operator vào các phiên bản tương lai của NVIDIA AI Enterprise, đảm bảo hỗ trợ và bảo mật cấp doanh nghiệp. Các bên quan tâm có thể truy cập NIM Operator từ kho NGC hoặc GitHub của NVIDIA. Công ty mời người dùng gửi phản hồi và yêu cầu kỹ thuật bằng cách sử dụng trình theo dõi vấn đề của kho lưu trữ.