大規模言語モデル（LLM）を構築、カスタマイズ、実行するために設計されたフレームワークであるNVIDIA NeMoは、企業が生成AIに関連する課題を克服できるよう支援している。大手クラウドサービス プロバイダーの科学者と開発者のチームは、数力月間NVIDIA NeMoを利用して、生成AIサービスの基礎モデルを作成してきたという。

NeMoの並列処理技術により、大規模な効率的なLLMトレーニングが可能になる。大手クラウドサービス プロバイダーのElastic Fabric Adaptor （EFA）と組み合わせることで、チームはLLMを多数のGPUに分散してトレーニングを高速化することができた。EFAは、GPUDirectを使用してオペレーティングシステムとCPUをバイパスし、10,000を超えるGPUに直接接続できるUltraClusterネットワーキングインフラストラクチャーを顧客に提供するとのこと。

この組み合わせにより、チームは高品質のモデルを提供することができた。これは、データ並列アプローチのみに依存した場合には大規模には達成できない偉業だ。クラウドサービス プロバイダーのイノベーションには、Simple Storage Service （S3）からGPUクラスターへの効率的なストリーミングも含まれるという。

クラウドサービス プロバイダーとNVIDIAの提携は、提携から学んだ教訓を活用してNVIDIA NeMoなどの製品や生成AIサービスなどのサービスを強化し、最終的に顧客に利益をもたらすことを目的としているとのことだ。ソース：