NVIDIA NeMo は、自動音声認識 (ASR) モデルを継続的に強化しており、 Hugging Face Open ASR Leaderboard でそのパフォーマンスが認められています。モデル スイートには、CTC、RNN-T、TDT、TDT-CTC、AED モデルなど、速度と精度のバランスが取れたさまざまなアーキテクチャが含まれています。各モデルは、高速推論用の非自己回帰 CTC モデルや高精度の自己回帰 AED モデルなど、特定の機能を備えて設計されています。

同社は、ASR モデルのこれまでの速度ボトルネックを解消し、推論速度を最大 10 倍向上させました。この改善は、テンソルを bfloat16 に自動キャストする機能、革新的なラベル ループ アルゴリズム、NeMo 2.0.0 での CUDA グラフの導入など、いくつかの重要な機能強化によるものです。これらの最適化により、キャストのオーバーヘッド、計算負荷の低さ、これまでモデル効率を妨げていた発散パフォーマンスの問題などが大幅に軽減されました。

NVIDIA は、自動混合精度 (AMP) とバッチ処理の最適化という課題にも取り組み、パフォーマンスをさらに向上させました。半精度推論を最大限に活用し、完全なバッチ処理に切り替えることで、同社はスループットの大幅な向上を実現しました。さらに、CUDA Graphs 条件付きノードの導入により、従来は計算負荷が低いという問題があった RNN-T モデルと TDT モデルでのカーネル起動オーバーヘッドを排除できるようになりました。

これらの機能強化の集大成は、NVIDIA の ASR モデルの速度を向上させるだけでなく、大幅なコスト削減も実現します。CPU と NVIDIA GPU を使用して 100 万時間の音声を書き起こすコストを比較すると、NVIDIA A100 の GPU を利用した推論では最大 4.5 倍のコスト削減が実証されました。NVIDIA は、モデルを改良し続け、CUDA Graphs 条件ノードや TorchInductor などの高度なテクノロジを統合して、GPU のスピードアップと効率をさらに向上させています。同社の小型ハイブリッド トランスデューサー CTC モデルである Parakeet TDT CTC 10M も精度と速度が向上しており、NeMo ASR の機能を拡張しています。