Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Groq, nhà cung cấp giải pháp AI, đã công bố những cải tiến đáng kể về hiệu suất suy luận cho mô hình ngôn ngữ quy mô lớn (LLM), Llama-2 70B. Chỉ trong ba tuần, công ty đã có thể tăng hơn gấp đôi hiệu suất của mình, chạy với tốc độ hơn 240 mã thông báo mỗi giây (T/s) cho mỗi người dùng trên hệ thống LPU™. Thành tích này đạt được sau khi Groq lần đầu tiên đạt 100T/s trên mỗi người dùng với Llama-2 70B, đặt ra câu hỏi về tiềm năng cải thiện hiệu suất hơn nữa của silicon 14nm thế hệ đầu tiên được sản xuất tại Mỹ.

Khách hàng của Groq đang xuất bản các bản demo riêng tư, mở ra một thế giới mới về các trường hợp sử dụng LLM có độ trễ thấp có thể có trong các ngành tương ứng của họ. Ví dụ: LLM có thể được sử dụng để giám sát lượng lớn dữ liệu văn bản từ các diễn đàn trực tuyến và phương tiện truyền thông xã hội để nhanh chóng phát hiện các cuộc tấn công mạng và vi phạm an ninh tiềm ẩn. Độ trễ cực thấp của các mô hình này rất quan trọng cho việc phân tích và phản hồi theo thời gian thực, đóng vai trò quan trọng trong việc bảo vệ thông tin nhạy cảm, cơ sở hạ tầng quan trọng và an ninh quốc gia.



LLM cũng có khả năng cách mạng hóa việc ứng phó khẩn cấp tại địa phương trong các thảm họa thiên nhiên. Bằng cách phân tích dữ liệu thời gian thực từ phương tiện truyền thông xã hội, các cuộc gọi khẩn cấp và dự báo thời tiết, các mô hình này xác định các khu vực cần hỗ trợ khẩn cấp, dự đoán các mối đe dọa và cung cấp thông tin chính xác cho những người ứng phó đầu tiên và các cộng đồng bị ảnh hưởng có thể đưa ra hướng dẫn.