Fastly, Inc. mengumumkan inovasi terbarunya, Fastly AI Accelerator. Hal ini bertujuan untuk meningkatkan pengalaman pengembang dengan mengoptimalkan kinerja dan mengurangi biaya untuk aplikasi yang menggunakan model bahasa besar. Menurut Stephen O'Grady dari RedMonk, meskipun industri teknologi secara umum fokus pada model skala besar, adopsi model AI skala besar dan skala kecil semakin meningkat.

Dibangun di Edge Cloud Platform Fastly, solusi baru ini memperkenalkan cache semantik cerdas untuk mengurangi panggilan API. Teknologi ini sangat berguna untuk aplikasi AI populer seperti ChatGPT, yang memproses kueri dalam jumlah besar setiap hari. Fitur caching semantik Fastly AI Accelerator memungkinkan Anda menggunakan kembali respons terhadap kueri serupa, mengurangi waktu respons dan biaya yang tidak perlu.

Anil Dash dari Fastly menyoroti komitmen perusahaan untuk memenuhi kebutuhan pengembang dengan menyederhanakan penggunaan model bahasa besar. Fastly AI Accelerator memungkinkan pengembang mengintegrasikan layanan dengan mudah hanya dengan mengubah satu baris kode, dan sistem dapat menyediakan caching sadar konteks untuk API yang kompatibel dengan OpenAI. Metode ini menyempurnakan pendekatan caching tradisional dengan memahami konteks permintaan dan meresponsnya.

Selain itu, Fastly memperluas dukungan untuk pengembang melalui peningkatan tingkat akun gratis yang mencakup akses ke jaringan pengiriman konten, memori dan penyimpanan yang cukup, serta fitur keamanan yang kuat. Inisiatif ini dirancang untuk membantu pengembang dengan cepat menyiapkan situs, aplikasi, atau layanan baru, sekaligus menyediakan alat canggih untuk memantau dan mitigasi DDoS yang selalu aktif.