Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Fastly, Inc. đã công bố cải tiến mới nhất của mình, Bộ tăng tốc AI nhanh chóng. Nó nhằm mục đích cải thiện trải nghiệm của nhà phát triển bằng cách tối ưu hóa hiệu suất và giảm chi phí cho các ứng dụng sử dụng mô hình ngôn ngữ lớn. Theo Stephen O'Grady của RedMonk, mặc dù ngành công nghệ thường tập trung vào các mô hình quy mô lớn, nhưng việc áp dụng các mô hình AI quy mô lớn và quy mô nhỏ đang gia tăng.

Được xây dựng trên Nền tảng đám mây Edge của Fastly, giải pháp mới này giới thiệu bộ nhớ đệm ngữ nghĩa thông minh để giảm các lệnh gọi API. Công nghệ này đặc biệt hữu ích cho các ứng dụng AI phổ biến như ChatGPT, vốn xử lý số lượng truy vấn khổng lồ mỗi ngày. Tính năng bộ nhớ đệm ngữ nghĩa của Fastly AI Accelerator cho phép bạn sử dụng lại phản hồi cho các truy vấn tương tự, giảm thời gian phản hồi và chi phí không cần thiết.

Anil Dash của Fastly nhấn mạnh cam kết của công ty trong việc giải quyết nhu cầu của nhà phát triển bằng cách hợp lý hóa việc sử dụng các mô hình ngôn ngữ lớn. Fastly AI Accelerator cho phép các nhà phát triển dễ dàng tích hợp các dịch vụ bằng cách thay đổi một dòng mã và hệ thống có thể cung cấp bộ đệm ẩn nhận biết ngữ cảnh cho các API tương thích với OpenAI. Phương pháp này tăng cường các phương pháp lưu vào bộ nhớ đệm truyền thống bằng cách hiểu ngữ cảnh của các yêu cầu và phản hồi chúng.

Ngoài ra, Fastly đang mở rộng hỗ trợ cho các nhà phát triển thông qua cấp tài khoản miễn phí nâng cao, bao gồm quyền truy cập vào mạng phân phối nội dung, bộ nhớ và dung lượng lưu trữ dồi dào cũng như các tính năng bảo mật mạnh mẽ. Sáng kiến ​​này được thiết kế để giúp các nhà phát triển nhanh chóng thiết lập các trang web, ứng dụng hoặc dịch vụ mới, đồng thời cung cấp các công cụ nâng cao để giám sát và giảm thiểu DDoS luôn hoạt động.