Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một tính năng mới trong TensorRT-LLM giúp tăng cường khả năng sử dụng GPU và hợp lý hóa quy trình triển khai cho các nhà phát triển. Tính năng này, được gọi là chunked prefill, giải quyết các thách thức về tính toán do các giai đoạn prefill và decode inference truyền thống đặt ra. Bằng cách chia các token đầu vào thành các phần nhỏ hơn, hệ thống có thể xử lý bộ đệm KV hiệu quả hơn, cho phép xử lý đồng thời nhiều yêu cầu và ngăn ngừa tình trạng tắc nghẽn trong giai đoạn prefill.

Phương pháp điền trước theo khối không chỉ tăng hiệu suất GPU mà còn cho phép các hệ thống quản lý ngữ cảnh dài hơn và mức độ đồng thời cao hơn mà không làm tăng nhu cầu bộ nhớ. Điều này đặc biệt có lợi vì nó tách biệt mức tiêu thụ bộ nhớ khỏi độ dài ngữ cảnh của các yêu cầu đến, cho phép xử lý độ dài ngữ cảnh lớn hơn hiệu quả hơn.

Hơn nữa, NVIDIA đã có những bước tiến trong việc đơn giản hóa quy trình tạo engine với việc triển khai tính năng định cỡ khối động. Tính năng này tự động đề xuất kích thước khối tối ưu dựa trên số liệu sử dụng GPU, loại bỏ nhu cầu các nhà phát triển phải chỉ định thủ công độ dài đầu vào tối đa. Do đó, kích thước bộ đệm kích hoạt hiện được xác định bởi kích thước khối được cấu hình, dẫn đến việc sử dụng bộ nhớ hiệu quả hơn trong quá trình thực thi.

Việc giới thiệu chunked prefill trong TensorRT-LLM đánh dấu sự cải thiện đáng kể về hiệu suất và khả năng sử dụng hệ thống. Bằng cách tạo điều kiện song song hóa tốt hơn giữa các giai đoạn prefill và giải mã và giảm thời gian hoàn thành truy vấn, NVIDIA đang nâng cao trải nghiệm của người dùng. Các nhà phát triển quan tâm đến việc tận dụng tính năng này có thể tìm thêm thông tin và bắt đầu thông qua tài liệu GitHub của NVIDIA, luôn cập nhật các bản cập nhật hiệu suất suy luận AI mới nhất.