Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
MangoBoost công bố Mango LLMBoost để tăng hiệu quả AI
Generatived
25/1/17 4:30
MangoBoost đã công bố Mango LLMBoost™, một phần mềm tối ưu hóa hệ thống mới nhằm mục đích cải thiện hiệu suất của các trung tâm dữ liệu AI. Phần mềm này hứa hẹn sẽ cải thiện đáng kể hiệu quả suy luận AI, tự hào có hiệu suất cải thiện lên đến 12,6 lần và giảm 92% chi phí so với các công cụ suy luận LLM cạnh tranh. Mango LLMBoost™ tận dụng các kỹ thuật tiên tiến như lập lịch hệ thống, tối ưu hóa hạt nhân và cơ chế tìm nạp trước độc đáo để tối ưu hóa việc sử dụng GPU bằng cách sử dụng lượng tử hóa mô hình.
Công ty đã cung cấp Mango LLMBoost™ trên AWS Marketplace, với kế hoạch cung cấp cho các dịch vụ đám mây khác và triển khai tại chỗ. Phần mềm hỗ trợ nhiều loại GPU từ NVIDIA và AMD và có thể quản lý nhiều mô hình AI, bao gồm Llama và Gemma, trên một máy chủ duy nhất. Mango LLMBoost™ đơn giản hóa việc triển khai với API web và API phát trực tuyến, đồng thời tự động cấu hình cài đặt hiệu suất tối ưu cho phần cứng và mô hình cụ thể.
CEO của MangoBoost, Jangwoo Kim, đã nhấn mạnh cam kết của công ty trong việc cải thiện hiệu suất và hiệu quả ở cấp độ hệ thống. Mango LLMBoost™ là minh chứng cho cam kết này, xây dựng dựa trên chuyên môn DPU của MangoBoost để tối ưu hóa cả thành phần phần cứng và phần mềm. Sự đổi mới này giúp các doanh nghiệp nhận ra toàn bộ tiềm năng của cơ sở hạ tầng AI của họ.
Những người quan tâm đến Mango LLMBoost™ có thể tìm hiểu thêm trên trang web sản phẩm. Được thành lập vào năm 2022, MangoBoost được hỗ trợ bởi hơn 60 triệu đô la tiền tài trợ và một đội ngũ hơn 100 chuyên gia, bao gồm nhiều tiến sĩ, và đang nhanh chóng tạo dựng tên tuổi trong lĩnh vực hiệu quả của trung tâm dữ liệu AI. Cốt lõi của giải pháp là công nghệ DPU của công ty được bảo vệ bởi hơn 30 bằng sáng chế và được thiết kế để hoạt động liền mạch với nhiều sản phẩm GPU và lưu trữ.
Chia sẻ bài viết này:
Tin tức mới nhất
Google Cloud công bố Trillium TPU, A3 Ultra VM
25/1/17 4:30
Cuối năm 2024 chứng kiến sự ra mắt của một loạt các tiến bộ trong cơ sở hạ tầng AI, bao gồm việc phát hành Trillium, TPU thế hệ thứ sáu và A3 Ultra VM với GPU NVIDIA H200.
Microsoft công bố vai trò của AI trong nỗ lực phát triển bền vững toàn cầu
25/1/17 4:30
Microsoft gần đây đã xuất bản một báo cáo toàn diện có tiêu đề "Tăng tốc phát triển bền vững bằng AI: Đổi mới vì Future tốt đẹp hơn".
Phòng thí nghiệm Berkeley phát triển AI để tìm giếng mồ côi
25/1/17 4:30
Các nhà nghiên cứu tại Phòng thí nghiệm quốc gia Lawrence Berkeley đã phát triển một mô hình AI để tìm các giếng dầu mồ côi chưa được ghi nhận (UOW) trên khắp Hoa Kỳ.
Copyright © 2024 Generatived - All right Reserved.
Chia sẻ bài viết này:
Chia sẻ bài viết này:
Danh mục
Tin tức
AI và luật/hệ thống/kinh tế/xã hội
Hãy theo dõi chúng tôi
Ngôn ngữ
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Hãy theo dõi chúng tôi
Ngôn ngữ
Tin tức mới nhất
Google Cloud công bố Trillium TPU, A3 Ultra VM
25/1/17 4:30
Cuối năm 2024 chứng kiến sự ra mắt của một loạt các tiến bộ trong cơ sở hạ tầng AI, bao gồm việc phát hành Trillium, TPU thế hệ thứ sáu và A3 Ultra VM với GPU NVIDIA H200.
Microsoft công bố vai trò của AI trong nỗ lực phát triển bền vững toàn cầu
25/1/17 4:30
Microsoft gần đây đã xuất bản một báo cáo toàn diện có tiêu đề "Tăng tốc phát triển bền vững bằng AI: Đổi mới vì Future tốt đẹp hơn".
Phòng thí nghiệm Berkeley phát triển AI để tìm giếng mồ côi
25/1/17 4:30
Các nhà nghiên cứu tại Phòng thí nghiệm quốc gia Lawrence Berkeley đã phát triển một mô hình AI để tìm các giếng dầu mồ côi chưa được ghi nhận (UOW) trên khắp Hoa K ỳ.