Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA công bố hợp tác với Google để giới thiệu Gemma, dòng mô hình mở mới được tối ưu hóa cho nền tảng AI của NVIDIA. Các mô hình Gemma 2B và 7B do Google DeepMind phát triển được thiết kế để tận dụng thư viện TensorRT-LLM nhằm tăng cường tối ưu hóa suy luận và cung cấp thông lượng cao cũng như mức hiệu suất cao nhất. Sự hợp tác này sẽ cho phép các nhà phát triển khai thác sức mạnh của các mô hình ngôn ngữ quy mô lớn (LLM) trên máy tính để bàn có GPU NVIDIA RTX, dân chủ hóa quyền truy cập vào các khả năng AI nâng cao.

Các mô hình Gemma hỗ trợ kích thước từ vựng là 256K và độ dài ngữ cảnh lên tới 8K, đồng thời được thiết kế chú trọng đến sự an toàn. Kết hợp tính năng lọc PII để xóa số nhận dạng nhạy cảm khỏi bộ dữ liệu và đảm bảo phát triển AI có trách nhiệm. Hơn nữa, mô hình này được hưởng lợi từ việc học tập tăng cường từ phản hồi của con người và phù hợp với các hoạt động thực hành AI có đạo đức. Được đào tạo với hơn 6 nghìn tỷ mã thông báo, các mô hình này sẵn sàng giúp các nhà phát triển tạo và triển khai các ứng dụng AI tiên tiến một cách tự tin.

TensorRT-LLM giới thiệu một số tính năng giúp cải thiện hiệu suất của các mô hình Gemma, bao gồm lượng tử hóa trọng lượng với sự hỗ trợ kích hoạt FP8, XQA và INT4. FP8 giúp tăng tốc các ứng dụng học sâu và XQA, hạt nhân do NVIDIA AI phát triển, tối ưu hóa cơ chế chú ý trong giai đoạn tạo. Một cải tiến khác, INT4 AWQ, cho phép sử dụng bộ nhớ hiệu quả và cải thiện hiệu suất trong các tình huống có băng thông bộ nhớ hạn chế. Những tiến bộ này cho phép các mô hình Gemma hoạt động với độ chính xác và tốc độ cao hơn ngay cả với kích thước lô nhỏ hơn.

GPU H200 Tensor Core của NVIDIA được cấu hình để mang lại hiệu suất tuyệt vời trên mẫu Gemma, đạt hơn 79.000 mã thông báo mỗi giây trên Gemma 2B và gần 19.000 mã thông báo mỗi giây trên Gemma 7B. Tính năng này có nghĩa là phục vụ hàng nghìn người dùng đồng thời với độ trễ thời gian thực trên một GPU. Các nhà phát triển sẽ sớm có thể trải nghiệm Gemma thông qua AI Playground của NVIDIA và ứng dụng demo Chat with RTX sắp ra mắt. Ngoài ra, các điểm kiểm tra mô hình Gemma được tối ưu hóa hiện có sẵn trong NGC và các phiên bản lượng tử hóa FP8 có thể truy cập được thông qua thư viện Hugging Face Optimum-NVIDIA, hợp lý hóa việc tích hợp suy luận LLM tốc độ cao. nước xốt: