Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Những tiến bộ mới nhất trong công nghệ AI đã cải thiện đáng kể khả năng phản hồi của các mô hình ngôn ngữ quy mô lớn (LLM), rất cần thiết cho các ứng dụng yêu cầu tương tác nhanh, chẳng hạn như bot giọng nói và trợ lý mã hóa. Số liệu chính cho những cải tiến này là thời gian sử dụng mã thông báo đầu tiên (TTFT). Điều này đo tốc độ từ khi nhận được lời nhắc của người dùng cho đến khi LLM bắt đầu tạo phản hồi. Khi LLM phát triển, khả năng xử lý các truy vấn dài hơn trong nhiều ngữ cảnh hơn sẽ tăng lên, với một số mô hình hiện có thể xử lý dữ liệu đầu vào miễn là mới.

NVIDIA đã công bố GH200 NVL32, một hệ thống mới tận dụng 32 Siêu chip Grace Hopper được kết nối thông qua hệ thống chuyển mạch NVLink để nâng cao hiệu suất TTFT. Hệ thống này được thiết kế để đáp ứng nhu cầu của LLM hiện đại, chẳng hạn như dòng Llama 3.1, bao gồm các mô hình có tới 405 tỷ tham số. Bằng cách tận dụng tối ưu hóa TensorRT-LLM, hệ thống GH200 NVL32 đã đạt được TTFT được xuất bản nhanh nhất cho các mô hình này, ngay cả ở thời lượng ngữ cảnh dài.

Kiến trúc của hệ thống GH200 NVL32 cho phép đồng bộ hóa dữ liệu hiệu quả trên nhiều GPU, đây là yếu tố chính giúp tăng tốc TTFT. Điều này đặc biệt quan trọng đối với các mô hình như Llama 3.1 405B, vốn đòi hỏi sức mạnh tính toán đáng kể do số lượng tham số lớn. Cấu trúc GPU-GPU có băng thông cao, độ trễ thấp của hệ thống giúp giảm thiểu thời gian đồng bộ hóa, tăng tốc độ tính toán và cải thiện trải nghiệm người dùng theo thời gian thực.

Cam kết đổi mới của NVIDIA không chỉ dừng lại ở phần cứng, khi công ty liên tục phát triển các kỹ thuật và tối ưu hóa mới để cải thiện hiệu suất suy luận. Những tiến bộ này giúp các khả năng AI mạnh mẽ trở nên dễ tiếp cận hơn và tiết kiệm chi phí hơn, mang lại lợi ích cho hệ sinh thái NVIDIA rộng lớn hơn, bao gồm hàng triệu nhà phát triển và cơ sở cài đặt GPU rộng lớn. Masu. Trong tương lai, nền tảng Blackwell GB200 NVL72 của NVIDIA dự kiến ​​sẽ cải thiện hơn nữa khả năng tính toán để đáp ứng nhu cầu ngày càng tăng về AI tổng hợp và quy trình làm việc của tác nhân phức tạp.