Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

RunPod, một nền tảng điện toán đám mây nổi bật chuyên về khối lượng công việc AI và máy học, gần đây đã công bố quan hệ đối tác chiến lược với vLLM, một công cụ suy luận nguồn mở hàng đầu. Sự hợp tác này nhằm mục đích cải thiện hiệu suất AI và thể hiện sự hỗ trợ liên tục của RunPod dành cho cộng đồng nguồn mở. vLLM được biết đến với thuật toán PagedAttention hiệu quả và đã trở thành công cụ suy luận đề xuất cho các mô hình ngôn ngữ quy mô lớn trên nhiều nền tảng và sản phẩm AI.

Thông qua mối quan hệ hợp tác này, RunPod sẽ cung cấp các tài nguyên tính toán để tạo điều kiện thuận lợi cho việc thử nghiệm công cụ suy luận vLLM trên nhiều mô hình GPU khác nhau. Ngoài ra, hai tổ chức sẽ có các cuộc thảo luận thường xuyên để khám phá những nỗ lực chung nhằm giải quyết nhu cầu của các kỹ sư AI và thúc đẩy lĩnh vực AI. Giám đốc điều hành RunPod Zhen Lu cho biết sự hợp tác này là một bước tiến lớn trong việc tối ưu hóa cơ sở hạ tầng AI và củng cố cam kết của công ty đối với sự đổi mới trong không gian nguồn mở.

Mối quan hệ của RunPod với vLLM bắt đầu từ mùa hè năm 2023 và phản ánh cam kết liên tục của chúng tôi trong việc thúc đẩy công nghệ AI và hỗ trợ tạo ra các công cụ hiệu quả, hiệu suất cao cho các chuyên gia AI. Jean Michael Desrosiers, Giám đốc khách hàng tại RunPod, nhấn mạnh tính hiệu quả của thuật toán PagedAttention của vLLM, giúp giảm thiểu lãng phí bộ nhớ và giảm yêu cầu GPU để xử lý, cung cấp cơ sở hạ tầng AI hiệu quả và có thể mở rộng. Điều này phù hợp với sứ mệnh của RunPod là

Sự hợp tác giữa RunPod và vLLM không chỉ là quan hệ đối tác công nghệ. Nó thể hiện sự kết hợp giữa khả năng điện toán đám mây của RunPod và các kỹ thuật suy luận AI cải tiến của vLLM. Sức mạnh tổng hợp này có khả năng cải thiện đáng kể hiệu suất và khả năng tiếp cận AI, mang lại lợi ích cho cộng đồng AI rộng lớn hơn. RunPod tiếp tục trao quyền cho các nhà phát triển với nền tảng đám mây GPU được phân phối toàn cầu, cho phép triển khai các ứng dụng AI tùy chỉnh trên quy mô lớn và đẩy nhanh sự phát triển của điện toán đám mây và công nghệ AI. Để biết thêm thông tin về RunPod và các dịch vụ của nó, vui lòng truy cập trang web của công ty.