Windows 11 PC上の人工知能（AI）は、ゲーマーやクリエイターから会社員や学生まで、幅広いユーザーのエクスペリエンスを変革することになる。このテクノロジーは、RTX GPUを搭載した何百万ものWindows PCおよびワークステーションのユーザーの生産性を向上させる重要な機会を提供する。NVIDIA RTXテクノロジーは、開発者がコンピューターの使用方法を変えるAIアプリケーションを作成するプロセスを簡素化するという。

新しい最適化、モデル、リソースは、開発者が新しいエンドユーザーエクスペリエンスをより迅速に提供できるように支援する。AI推論パフォーマンスを強化するオープンソースソフトウェアであるTensorRT-LLMの今後のアップデートでは、新しい大規模言語モデルがサポートされ、8 GBのVRAMから始まるRTX GPUを搭載したデスクトップやラップトップで要求の厳しいAIワークロードにアクセスしやすくなる。Windows用TensorRT-LLMは、新しいラッパーを通じてOpenAIの人気のChat APIと間もなく互換性を持つようになり、何百もの開発者プロジェクトやアプリケーションをRTXを搭載したPC上でローカルに実行できるようになり、Windows 11 PC上でプライベートな独自データを保持できるようになるという。

AI Workbenchは、開発者がPCまたはワークステーション上で事前トレーニング済みの生成AIモデルとLLMを迅速に作成、テスト、カスタマイズできるようにする統合ツールキットだ。開発者に、AIプロジェクトを整理し、モデルを特定のユースケースに合わせて調整するための単一のプラットフォームを提供する。これにより、開発者はシームレスなコラボレーションと展開が容易になり、コスト効率が高くスケーラブルな生成AIモデルを迅速に作成できるという。

AI開発者をサポートするために、NVIDIAとMicrosoftは、最も人気のある基本的なAIモデルの1つであるLlama 2を高速化するDirectML拡張機能をリリースする。開発者は、パフォーマンスの新しい基準を設定するだけでなく、ベンダー間での展開のオプションも増えた。今月下旬にリリースされる次のTensorRT-LLMリリースv0.6.0では、推論パフォーマンスが向上し（最大5倍高速）、新しいMistral 7BやNemotron-3 8Bなどの追加の人気LLMのサポートが可能になるとのことだ。ソース：