Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Meta đã công bố loạt mô hình ngôn ngữ thị giác Llama 3.2 mới nhất của mình, cung cấp cả phiên bản tham số 11B và 90B xử lý đầu vào văn bản và hình ảnh. Công ty cũng giới thiệu các biến thể mô hình ngôn ngữ chỉ có tham số 1B và 3B nhỏ hơn. NVIDIA đã tinh chỉnh các mô hình này để có hiệu suất hiệu quả và triển khai tiết kiệm chi phí ở quy mô toàn cầu, tận dụng nhiều loại GPU, từ các đơn vị trung tâm dữ liệu hiệu suất cao đến các máy trạm RTX cục bộ và thậm chí cả các thiết bị NVIDIA Jetson công suất thấp.

Llama 3.2 VLM được thiết kế để xử lý nhiều độ dài ngữ cảnh và hình ảnh có độ phân giải cao, mang lại thời gian phản hồi nhanh và thông lượng cao cho trải nghiệm người dùng liền mạch. Các tối ưu hóa toàn diện trên toàn bộ ngăn xếp công nghệ của NVIDIA đóng vai trò quan trọng trong việc đạt được các số liệu hiệu suất này. SLM cũng được cải tiến tương tự để chạy tối ưu trên PC và máy trạm NVIDIA RTX, và với điều chỉnh lượng tử hóa để chạy trên các thiết bị NVIDIA Jetson edge.

Những tiến bộ đáng chú ý về thông lượng suy luận AI của mô hình Llama 3.2 của NVIDIA. Mô hình này kết hợp một bộ mã hóa thị giác và một bộ giải mã văn bản, cả hai đều được tối ưu hóa cho suy luận hiệu suất cao bằng cách sử dụng thư viện TensorRT của NVIDIA. Cơ chế chú ý chéo của bộ giải mã văn bản cho phép VLM tạo văn bản với ngữ cảnh trực quan, cải thiện hiệu quả. NVIDIA cũng đã phát triển một công thức lượng tử hóa sau đào tạo FP8 tùy chỉnh, khi kết hợp với Lõi Tensor FP8 thế hệ thứ 4, sẽ cải thiện thông lượng mô hình và giảm latency mà không ảnh hưởng đến độ chính xác.

Hiệu suất của các mô hình Llama 3.2 trên nền tảng NVIDIA rất ấn tượng, với các phép đo nội bộ chứng minh khả năng của nó trong cả các tình huống thông lượng tối đa và latency tối thiểu. Những kết quả này làm nổi bật hiệu suất đặc biệt của GPU NVIDIA H200 được tối ưu hóa bằng phần mềm TensorRT. Ngoài ra, trong môi trường Windows, Llama 3.2 SLM được tối ưu hóa để hoạt động với ONNX Runtime Generative API, mang lại hiệu suất thông lượng vượt trội trên GPU NVIDIA GeForce RTX 4090. Nền tảng điện toán tăng tốc của NVIDIA cho phép xây dựng các mô hình hiệu suất cao trên nhiều nền tảng, từ trung tâm dữ liệu đến máy trạm cục bộ, giải quyết nhu cầu của các doanh nghiệp muốn triển khai nhanh chóng và nhận ra giá trị.