Touchcast mengumumkan jaringan pengiriman konten kognitif (cCDN) perintis yang dirancang untuk meningkatkan pengiriman dan skalabilitas model bahasa besar (LLM) di Microsoft Azure. Jaringan global di seluruh pusat data Azure ini mencakup teknologi caching kognitif inovatif Touchcast dan superkluster yang menjalankan model layanan Azure OpenAI. Upaya ini bertujuan untuk mengoptimalkan efisiensi biaya dan kinerja aplikasi AI generatif (GenAI) serta memastikan keselarasan dengan tujuan perusahaan.

Inti dari platform baru ini adalah teknologi CogCache milik perusahaan. Teknologi ini memungkinkan penyimpanan cache yang cerdas dan pengiriman konten yang dihasilkan AI. Pendekatan ini secara signifikan mengurangi beban komputasi pada LLM, sehingga menghasilkan waktu respons yang lebih cepat dan pengalaman GenAI yang lebih terjangkau. cCDN bertujuan untuk memenuhi meningkatnya permintaan LLM, yang terhambat oleh kurangnya sumber daya komputasi seperti GPU.

Pasar AI generatif diperkirakan akan tumbuh pesat hingga $1,3 triliun selama dekade berikutnya, dan cCDN Touchcast merupakan respons strategis terhadap hambatan komputasi industri. cCDN tidak hanya mengurangi biaya operasional hingga 50%, namun juga mempercepat waktu respons LLM hingga 100x. Infrastruktur ini akan membuat layanan bertenaga AI tersedia bagi miliaran pengguna sekaligus memprioritaskan efisiensi energi dan penghematan biaya.

Kolaborasi antara Touchcast dan Microsoft merupakan bukti visi bersama kami untuk menjadikan GenAI lebih mudah diakses dan berkelanjutan. cCDN siap menjadi kekuatan transformatif di bidang GenAI, serupa dengan peran CDN di masa-masa awal Internet, dengan memfasilitasi adopsi teknologi AI generatif secara luas.