Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Khi nhu cầu về AI tổng hợp và các dịch vụ thời gian thực tăng vọt, NVIDIA thể hiện khả năng của mình với điểm chuẩn MLPerf Inference v4.1 mới nhất. Nền tảng của công ty mang lại hiệu suất cao nhất trong tất cả các thử nghiệm của trung tâm dữ liệu, với nền tảng NVIDIA Blackwell sắp ra mắt vượt trội hơn GPU NVIDIA H100 Tensor Core tới gấp 4 lần trên khối lượng công việc Llama 2 70B. Bước nhảy vọt về hiệu quả này là nhờ Transformer Engine và FP4 Tensor Core tiên tiến của nền tảng.

GPU H200 Tensor Core của NVIDIA cũng hoạt động tốt, cho kết quả tốt trong tất cả các điểm chuẩn của trung tâm dữ liệu, bao gồm cả Mixtral 8x7B Mixture of Experts (MoE) LLM mới. Các mô hình MoE ngày càng trở nên phổ biến vì chúng có thể xử lý nhiều truy vấn và nhiệm vụ trong một lần triển khai, đồng thời có thể đạt được tốc độ và hiệu quả bằng cách chỉ kích hoạt một số chuyên gia được chọn cho mỗi suy luận.

Sự phát triển nhanh chóng của các mô hình ngôn ngữ quy mô lớn (LLM) đòi hỏi sức mạnh tính toán tăng lên để quản lý nhu cầu suy luận đồng thời đáp ứng các yêu cầu về độ trễ thời gian thực. Công nghệ NVLink và NVSwitch của NVIDIA cho phép liên lạc GPU băng thông cao cần thiết cho suy luận mô hình quy mô lớn, thời gian thực. Nền tảng Blackwell sẽ mở rộng các khả năng này để hỗ trợ các miền NVLink lớn hơn với tối đa 72 GPU. Ngoài ra, 10 đối tác của NVIDIA đã đóng góp các bản đệ trình Suy luận MLPerf, chứng tỏ việc áp dụng rộng rãi nền tảng NVIDIA.

NVIDIA tiếp tục cải tiến phần mềm của mình, mang lại những cải tiến hiệu suất đáng kể sau mỗi bản cập nhật. GPU NVIDIA H200 đã cải thiện 27% hiệu suất suy luận AI tổng quát kể từ vòng trước. Máy chủ suy luận NVIDIA Triton, một thành phần chính của Nền tảng AI NVIDIA, cho phép các tổ chức hợp lý hóa việc triển khai các mô hình AI và giảm chi phí sở hữu. Trong các điểm chuẩn mới nhất, Triton phù hợp với hiệu suất của các sản phẩm kim loại trần của NVIDIA, cung cấp cho doanh nghiệp một máy chủ suy luận AI mạnh mẽ mà không phải hy sinh thông lượng.

Ở biên, nền tảng Jetson của NVIDIA chuyển đổi dữ liệu cảm biến thành thông tin chuyên sâu theo thời gian thực để có thể chạy nhiều mô hình khác nhau như LLM và bộ chuyển đổi tầm nhìn. Mô-đun Jetson AGX Orin mang lại những cải tiến đáng kể về thông lượng và độ trễ, cho phép các nhà phát triển tạo ra các ứng dụng linh hoạt tương tác với ngôn ngữ con người. Các nền tảng của NVIDIA đã chứng tỏ tính linh hoạt và hiệu suất dẫn đầu từ trung tâm dữ liệu đến điện toán biên. Các hệ thống hỗ trợ GPU H200 hiện có sẵn từ nhiều nhà cung cấp khác nhau bao gồm CoreWeave, ASUS, Dell Technologies, HPE, QTC và Supermicro.