Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、最新のAIコンピューティングプラットフォームであるNVIDIA HGX™ H200を発表した。このプラットフォームは、NVIDIA Hopper™ アーキテクチャーに基づいており、生成AIおよびハイパフォーマンスコンピューティング ワークロード用の大量のデータを管理するように設計されたNVIDIA H200 Tensor Core GPUを搭載している。NVIDIA H200は、HBM3eを搭載した最初のGPUだ。HBM3eは、生成AIと大規模言語モデルを高速化すると同時に、HPCワークロード向けの科学技術コンピューティングを促進するように設計された、より高速で大容量のメモリーシステムだという。

NVIDIA H200は141 GBのメモリーを4.8テラバイト/秒で提供する。これは、前世代のNVIDIA A100に比べてほぼ2倍の容量と2.4倍の帯域幅だ。大手サーバーメーカーやクラウド サービスプロバイダーのH200を搭載したシステムは、2024年の第2四半期に出荷が開始される予定だ。NVIDIAのホッパーアーキテクチャーは、前世代に比べて大幅なパフォーマンスの向上を実現し、継続的なソフトウェアの機能強化を通じて新しい標準を確立し続けているとのこと。

H200の導入により、H100と比較して、700億パラメータのLLMであるLlama 2の推論速度がほぼ2倍になるなど、さらなるパフォーマンスの向上が期待されている。Futureのソフトウェアアップデートにより、H200のパフォーマンスがさらに向上すると予想される。H200は、4ウェイ構成および8ウェイ構成のNVIDIA HGX H200サーバーボードで提供され、HGX H100システムのハードウェアとソフトウェアの両方と互換性があるという。

H200は、オンプレミス、クラウド、ハイブリッドクラウド、エッジなど、あらゆるタイプのデータセンターに導入できる。NVIDIAのパートナーサーバー メーカーのグローバルエコシステムは、既存のシステムをH200で更新できる。大手クラウドサービス プロバイダーは、来年からH200ベースのインスタンスを導入する予定だ。NVIDIA NVLink™ およびNVSwitch™ 高速インターコネクトを搭載したHGX H200は、1,750億パラメータを超える最大モデルのLLMトレーニングや推論など、さまざまなアプリケーションワークロードで最高のパフォーマンスを提供するとのことだ。