自動オーディオキャプション (AAC) タスクは、機械が周囲の音響環境を解釈して対話できるようにするため、注目を集めています。2020 年以来、音響シーンとイベントの検出と分類 (DCASE) コミュニティが主催する毎年恒例の AAC コンテストには、26 を超える世界中のチームが参加しています。学術界と産業界の両方のバックグラウンドを持つこれらのチームは、AAC システムのバックボーンを形成するエンコーダー デコーダー アーキテクチャの強化に重点を置いています。

カーネギーメロン大学 (CMU) と NVIDIA は、東京で開催される DCASE 2024 AAC チャレンジに向けて、革新的なアプローチで協力しています。彼らの提案では、アーキテクチャに複数のオーディオ エンコーダーが導入され、より豊富なオーディオ機能をキャプチャして記述できるようになりました。このマルチエンコーダー戦略は、言語モデル (LM) ベースのタスク起動プロンプトによって補完され、情報編集後のプロセスを強化します。 CMU 言語技術研究所の渡辺真司教授は、この共同作業と、それがオーディオおよび言語理解コミュニティに貢献していることを強調しました。

CMU-NVIDIA チームのアプローチには、さまざまなエンコーダー モデル間のマルチエージェント コラボレーションも含まれており、これがパフォーマンスの向上に役立っています。BEAT や ConvNeXt など、さまざまな粒度のエンコーダーを統合することで、システムはオーディオ機能のより包括的なカバレッジを実現します。この戦略は、専門のエージェントの融合が優れた結果につながる最近のマルチモーダル AI 研究と類似しています。チームのシステムには、NVIDIA Research の GenTranslate および Generative Image Captioning (GIC) 評価の手法を活用した、テキスト仮説ベースのエンリッチメントも組み込まれています。

AAC システムのパフォーマンスは、Taipei-1 スーパーコンピューター クラスターを含む高度な NVIDIA コンピューター テクノロジの使用によって大幅に向上しました。マルチエンコーダー システムは、FENSE (Fluency Enhanced Sentence-BERT Evaluation) スコア 0.5442 を達成し、ベースライン スコア 0.5040 を上回りました。この成功は、汎用的な理解を高めるマルチエージェント、マルチモーダル システムの潜在能力を示しています。テキスト修正に大規模な言語モデルを使用することは重要なイノベーションであり、モデルが音声内の隠れた情報を改良できるようにしています。A100 および H100 GPU を含む NVIDIA の高度な GPU テクノロジは、AI 開発の加速とマルチモーダル学習の可能性の拡大に極めて重要な役割を果たしてきました。