Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố nền tảng điện toán AI mới nhất của mình, NVIDIA HGX™ H200. Nền tảng này dựa trên kiến ​​trúc NVIDIA Hopper™ và có GPU NVIDIA H200 Tensor Core được thiết kế để quản lý lượng lớn dữ liệu cho khối lượng công việc điện toán hiệu năng cao và AI tổng hợp. NVIDIA H200 là GPU đầu tiên có HBM3e. HBM3e là hệ thống bộ nhớ nhanh hơn, dung lượng cao hơn được thiết kế để tăng tốc AI tổng hợp và các mô hình ngôn ngữ quy mô lớn, đồng thời tăng tốc tính toán khoa học cho khối lượng công việc HPC.

NVIDIA H200 cung cấp bộ nhớ 141 GB tốc độ 4,8 terabyte/giây. Con số này gần gấp đôi dung lượng và băng thông 2,4 lần so với NVIDIA A100 thế hệ trước. Các hệ thống được cung cấp bởi H200 từ các nhà sản xuất máy chủ lớn và nhà cung cấp dịch vụ đám mây dự kiến ​​sẽ bắt đầu xuất xưởng vào quý 2 năm 2024. Kiến trúc Hopper của NVIDIA mang lại những cải tiến hiệu suất đáng kể so với các thế hệ trước và tiếp tục đặt ra các tiêu chuẩn mới thông qua các cải tiến phần mềm liên tục.

Với sự ra đời của H200, dự kiến ​​sẽ có những cải tiến về hiệu suất hơn nữa, chẳng hạn như tăng gần gấp đôi tốc độ suy luận của Llama 2, LLM tham số 70 tỷ, so với H100. Các bản cập nhật phần mềm trong tương lai dự kiến ​​sẽ cải thiện hơn nữa hiệu suất của H200. H200 được cung cấp trong các bo mạch máy chủ NVIDIA HGX H200 với cấu hình 4 chiều và 8 chiều, đồng thời tương thích với cả phần cứng và phần mềm hệ thống HGX H100.

H200 có thể được triển khai ở bất kỳ loại trung tâm dữ liệu nào, bao gồm tại chỗ, đám mây, đám mây lai và biên. Hệ sinh thái toàn cầu của NVIDIA gồm các nhà sản xuất máy chủ đối tác có thể cập nhật hệ thống hiện có của họ với H200. Các nhà cung cấp dịch vụ đám mây lớn có kế hoạch giới thiệu các phiên bản dựa trên H200 bắt đầu từ năm tới. Được trang bị kết nối tốc độ cao NVIDIA NVLink™ và NVSwitch™, HGX H200 mang lại hiệu suất tốt nhất cho nhiều khối lượng công việc ứng dụng khác nhau, bao gồm đào tạo LLM và suy luận cho các mô hình lớn nhất với hơn 175 tỷ tham số.