AI 技術の最新の進歩により、音声ボットやコーディング アシスタントなど、迅速なインタラクションを必要とするアプリケーションに不可欠な大規模言語モデル (LLM) の応答性が大幅に向上しました。これらの改善の重要な指標は、最初のトークンまでの時間 (TTFT) です。これは、ユーザー プロンプトを受信してから LLM が応答を生成し始めるまでの速度を測定します。LLM が進化するにつれて、より多くのコンテキストでより長いクエリを処理する能力が向上し、一部のモデルでは、小説 1 冊分の長さの入力を処理できるようになりました。

NVIDIA は、NVLink スイッチ システムを介して接続された 32 個の Grace Hopper Superchips を活用して TTFT パフォーマンスを強化する新しいシステム、GH200 NVL32 を発表しました。このシステムは、最大 4,050 億のパラメーターを持つモデルを含む Llama 3.1 ファミリなどの最新の LLM の要求に対応するように設計されています。 TensorRT-LLM 最適化を利用することで、GH200 NVL32 システムは、コンテキストの長さが長い場合でも、これらのモデルで公開されている最速の TTFT を実現しました。

GH200 NVL32 システムのアーキテクチャにより、複数の GPU 間での効率的なデータ同期が可能になり、TTFT を高速化する上で重要な要素となります。これは、多数のパラメータがあるためにかなりの計算能力を必要とする Llama 3.1 405B などのモデルにとって特に重要です。システムの高帯域幅、低レイテンシの GPU 間ファブリックにより、同期時間が最小限に抑えられ、計算が高速化され、リアルタイムのユーザー エクスペリエンスが向上します。

NVIDIA のイノベーションへの取り組みはハードウェアだけにとどまらず、同社は推論パフォーマンスを向上させるための新しい手法と最適化を継続的に開発しています。これらの進歩により、強力な AI 機能がよりアクセスしやすく、コスト効率が高くなり、何百万人もの開発者と膨大な数の GPU インストール ベースを含む広範な NVIDIA エコシステムにメリットがもたらされています。今後、NVIDIA の Blackwell GB200 NVL72 プラットフォームは、コンピューティング機能をさらに向上させ、生成 AI と複雑なエージェント ワークフローの需要の高まりに応えていくことが期待されます。