NVIDIA は、NIM マイクロサービスの展開と管理を効率化するために設計された新しい Kubernetes オペレーター、NVIDIA NIM Operator を発表しました。このツールは、クラウド環境、データセンター、GPU 搭載ワークステーションなど、さまざまなプラットフォームでますます利用されるようになっている生成 AI モデルのセットアップと保守に伴う複雑さを軽減することを目的としています。NIM Operator は、スケーリングや監視などのタスクを自動化することで、MLOps および LLMOps エンジニア、および Kubernetes クラスター管理者のプロセスを簡素化することを約束します。

同社の最新製品には、生成 AI ワークフローのさまざまな側面をサポートするためにマイクロサービスとしてパッケージ化されたさまざまな AI モデルが含まれています。たとえば、会話型 AI アプリケーションでは、言語理解、埋め込み、再ランク付けなどの複数の NIM マイクロサービスを統合できます。NVIDIA NIM Operator は、これらのサービスの展開と管理に伴う手作業を軽減するように設計されており、最小限のユーザー入力で簡単にスケーリングとライフサイクル管理を行うことができます。

NVIDIA の NIM Operator には、インテリジェントなモデル事前キャッシュなどの機能も導入されており、レーテンシーの削減と AI モデルの自動スケーリングの高速化を目指しています。この機能は、エアギャップ シナリオでのモデル展開を可能にするため、接続性が制限されている環境で特に役立ちます。さらに、この Operator は、個別のマイクロサービスと集合パイプラインの両方に対するカスタム リソース定義 (CRD) を使用した AI パイプラインの自動展開をサポートしており、AI 展開の柔軟性と効率性を高めています。

同社は、ローリング アップデートとカスタマイズ可能な戦略をサポートする NIM Operator による NIM マイクロサービスのアップグレードと管理の容易さを強調しています。リリース時点では、Operator は一部のマイクロサービスと互換性がありますが、将来的にはサポートを拡大する予定です。NIM マイクロサービスの導入を促進するという NVIDIA の取り組みは、NIM Operator を NVIDIA AI Enterprise の将来のリリースに統合し、エンタープライズ レベルのサポートとセキュリティを確保することからも明らかです。関心のある方は、NVIDIA の NGC またはGitHubリポジトリから NIM Operator にアクセスできます。同社では、リポジトリの問題追跡機能を使用して、フィードバックや技術的な問い合わせを投稿するようユーザーに呼びかけています。