Ambarella, Inc.は、CESでエッジAIテクノロジーの最新の進歩を発表し、新しいN1 SoCシリーズの機能を紹介した。同社は、従来は高い計算需要のためにサーバー環境に限定されていた生成AIをエッジデバイス上で実現する予定だ。AmbarellaのN1 SoCシリーズは、主要なGPUソリューションと比較して消費電力を大幅に削減しながら、ビデオセキュリティー分析やロボティクスなどの複雑なタスクを処理できるように設計されている。

この半導体会社は、ミッドエンドからハイエンドのアプリケーションをターゲットとして、CV72やN1シリーズを含む一連のSoC上で生成AI処理を提供する準備を進めている。AmbarellaのSoCは効率性が際立っており、GPUや他のAIアクセラレーターと比べて、生成されるトークン当たり最大3倍の省電力を誇る。同社のCooper™ Developer PlatformはこれらのSoCをサポートしており、AmbarellaはCooper Model Gardenを通じて入手可能な人気のある大規模言語モデルを事前に最適化することで、顧客の統合プロセスを合理化した。

AmbarellaのSoCアーキテクチャーは、ビデオとAIの同時処理を必要とするアプリケーション向けに調整されている。同社のテクノロジーは、セキュリティーカメラや産業用ロボットなどのデバイスにコンテキストとシーンの理解を導入することで、コンピュータービジョンを強化する準備ができている。オンデバイスの生成AI処理は、パフォーマンスを高速化するだけでなく、プライバシーを強化し、所有コストを削減する。Ambarellaのアプローチでは、従来のサーバーベースの画一的なモデルとは対照的に、アプリケーション固有のLLMをエッジで直接カスタマイズできる。

N1シリーズは、もともと自動運転車用に開発されたAmbarellaのCV3-HDアーキテクチャーを活用し、この高性能、低電力テクノロジーをマルチモーダルLLMの実行に再利用する。例えば、N1 SoCはLlama2-13Bモデルを効率的に実行でき、低消費電力を維持しながら優れた出力を実現する。このイノベーションにより、定置型AIボックスからモバイルロボットに至るまで、さまざまなアプリケーションへの生成AIの統合が容易になる。AmbarellaはCESでN1 SoCのマルチモーダルLLM機能をデモンストレーションし、エッジAI市場におけるこのテクノロジーの可能性を強調している。