Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA NeMo が ASR モデルの速度と精度を向上
Generatived
2024年9月25日
NVIDIA NeMo は、自動音声認識 (ASR) モデルを継続的に強化しており、 Hugging Face Open ASR Leaderboard でそのパフォーマンスが認められています。モデル スイートには、CTC、RNN-T、TDT、TDT-CTC、AED モデルなど、速度と精度のバランスが取れたさまざまなアーキテクチャが含まれています。各モデルは、高速推論用の非自己回帰 CTC モデルや高精度の自己回帰 AED モデルなど、特定の機能を備えて設計されています。
同社は、ASR モデルのこれまでの速度ボトルネックを解消し、推論速度を最大 10 倍向上させました。この改善は、テンソルを bfloat16 に自動キャストする機能、革新的なラベル ループ アルゴリズム、NeMo 2.0.0 での CUDA グラフの導入など、いくつかの重要な機能強化によるものです。これらの最適化により、キャストのオーバーヘッド、計算負荷の低さ、これまでモデル効率を妨げていた発散パフォーマンスの問題などが大幅に軽減されました。
NVIDIA は、自動混合精度 (AMP) とバッチ処理の最適化という課題にも取り組み、パフォーマンスをさらに向上させました。半精度推論を最大限に活用し、完全なバッチ処理に切り替えることで、同社はスループットの大幅な向上を実現しました。さらに、CUDA Graphs 条件付きノードの導入により、従来は計算負荷が低いという問題があった RNN-T モデルと TDT モデルでのカーネル起動オーバーヘッドを排除できるようになりました。
これらの機能強化の集大成は、NVIDIA の ASR モデルの速度を向上させるだけでなく、大幅なコスト削減も実現します。CPU と NVIDIA GPU を使用して 100 万時間の音声を書き起こすコストを比較すると、NVIDIA A100 の GPU を利用した推論では最大 4.5 倍のコスト削減が実証されました。NVIDIA は、モデルを改良し続け、CUDA Graphs 条件ノードや TorchInductor などの高度なテクノロジを統合して、GPU のスピードアップと効率をさらに向上させています。同社の小型ハイブリッド トランスデューサー CTC モデルである Parakeet TDT CTC 10M も精度と速度が向上しており、NeMo ASR の機能を拡張しています。
最新のニュース
Boosted.ai 調査: 若い投資家は AI アドバイザーを要求
2024年9月25日 3:30:00
最近の調査によると、米国とカナダの若くて富裕な個人の多くは、人工知能に精通しているだけでなく、投資管理に金融アドバイザーが AI を活用することを期待している。
Tabnine が開発者向けの新しい AI Jiraエージェントを発表
2024年9月25日 3:30:00
Tabnine は、Atlassian Jira内でのソフトウェア開発を強化するために設計された 2 つの革新的な AI エージェントのリリースを発表しました。
Torq、グローバル展開とAIの成長のために7,000万ドルを確保
2024年9月25日 3:30:00
AIファーストのセキュリティハイパーオートメーション企業であるTorqは、シリーズCの資金調達で7,000万ドルを確保することに成功しました。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Copyright © 2024 Generatived - All right Reserved.
最新のニュース
Boosted.ai 調査: 若い投資家は AI アドバイザーを要求
2024年9月25日 3:30:00
最近の調査によると、米国とカナダの若くて富裕な個人の多くは、人工知能に精通しているだけでなく、投資管理に金融アドバイザーが AI を活用することを期待している。
Tabnine が開発者向けの新しい AI Jiraエージェントを発表
2024年9月25日 3:30:00
Tabnine は、Atlassian Jira内でのソフトウェア開発を強化するために設計された 2 つの革新的な AI エージェントのリリースを発表しました。
Torq、グローバル展開とAIの成長のために7,000万ドルを確保
2024年9月25日 3:30:00
AIファーストのセキュリティハイパーオートメーション企業であるTorqは、シリーズCの資金調達で7,000万ドルを確保することに成功しました。