Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Fastly, Inc.は、最新のイノベーションであるFastly AI Acceleratorを発表した。これは、大規模な言語モデルを使用するアプリのパフォーマンスを最適化し、コストを削減することで、開発者のエクスペリエンスを向上させることを目的としている。RedMonkのStephen O'Grady氏によると、テクノロジー業界では、一般的に大規模なモデルに重点が置かれているにもかかわらず、さまざまなハードウェアプロファイルでのコスト効率と効率性のために、中規模および小規模のAIモデルを採用するケースが増えている。

FastlyのEdge Cloud Platform上に構築されたこの新しいソリューションは、API呼び出しを減らすインテリジェントなセマンティックキャッシュを導入している。このテクノロジーは、毎日膨大な数のクエリーを処理するChatGPTなどの人気のAIアプリケーションに特に役立つ。Fastly AI Acceleratorのセマンティックキャッシュ機能により、類似のクエリーに対する応答を再利用できるため、応答時間が短縮され、不要なコストが削減される。

FastlyのAnil Dash氏は、大規模な言語モデルの使用を合理化することで開発者のニーズに対応するという同社の取り組みを強調した。Fastly AI Acceleratorを使用すると、開発者は1行のコードを変更するだけで簡単にサービスを統合でき、システムはOpenAI互換APIにコンテキスト認識キャッシュを提供できる。この方法は、リクエストのコンテキストを理解して応答することで、従来のキャッシュアプローチを強化する。

さらに、Fastlyは、コンテンツ配信ネットワークへのアクセス、十分なメモリーとストレージ、堅牢なセキュリティー機能を含む、強化された無料アカウント層を通じて開発者へのサポートを拡大している。この取り組みは、開発者が新しいサイト、アプリ、またはサービスを迅速にセットアップできるように支援するとともに、監視と常時オンのDDoS緩和のための高度なツールも提供するように設計されている。