Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Gcore đã công bố Gcore Inference at the Edge, dịch vụ mới nhất được thiết kế để hỗ trợ các ứng dụng AI với trải nghiệm độ trễ cực thấp. Dịch vụ này cho phép phân phối các mô hình học máy được đào tạo trước đến các nút suy luận biên, cho phép suy luận liền mạch trong thời gian thực. Giải pháp này mang lại lợi ích cho nhiều lĩnh vực khác nhau bao gồm ô tô, sản xuất, bán lẻ và công nghệ bằng cách cho phép triển khai hiệu quả và an toàn các mô hình AI cho các ứng dụng khác nhau như AI tổng quát và phân tích hành vi thời gian thực. Có lẽ.

Dịch vụ mới của công ty hoạt động trên một mạng lưới rộng khắp gồm hơn 180 nút biên tận dụng công nghệ định tuyến tiên tiến có độ trễ thấp của Gcore. Bằng cách đặt các nút hiệu suất cao gần người dùng, dịch vụ tận dụng GPU NVIDIA L40S để đảm bảo thời gian phản hồi nhanh, thường dưới 30 mili giây. Cài đặt này được thiết kế để tối ưu hóa trải nghiệm người dùng bằng cách hướng các yêu cầu đến khu vực suy luận gần nhất với độ trễ thấp nhất.

Suy luận Gcore ở biên hỗ trợ nhiều mô hình ML, bao gồm các mô hình cơ bản nguồn mở có sẵn trong Gcore ML Model Hub. Giờ đây, các nhóm phát triển có thể lựa chọn và đào tạo các mô hình để đáp ứng nhu cầu cụ thể trước khi triển khai trên toàn cầu. Điều này khắc phục được thách thức chung khi chạy các mô hình AI trên cùng một máy chủ mà chúng đã được đào tạo, thường dẫn đến hiệu suất dưới mức tối ưu.

Dịch vụ này bao gồm triển khai tiết kiệm chi phí với mô hình định giá linh hoạt, bảo vệ DDoS tự động, tuân thủ các tiêu chuẩn bảo mật và quyền riêng tư dữ liệu hàng đầu, khả năng tự động thay đổi quy mô để quản lý mức tải tăng đột biến, lưu trữ đối tượng không giới hạn, v.v. Có những lợi thế quan trọng. Giám đốc điều hành Gcore Andre Reitenbach nhấn mạnh cam kết của công ty trong việc cung cấp cho khách hàng trải nghiệm suy luận AI không rắc rối để họ có thể tập trung vào việc đào tạo các mô hình học máy của mình mà không phải lo lắng về chi phí triển khai hoặc cơ sở hạ tầng. làm.