Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
NVIDIA NeMo meningkatkan kecepatan dan akurasi model ASR
Generatived
24/9/25 3:30
NVIDIA NeMo terus menyempurnakan model Pengenalan Ucapan Otomatis (ASR) dan diakui kinerjanya di Papan Peringkat ASR Hugging Face Open. Rangkaian model mencakup berbagai arsitektur yang menyeimbangkan kecepatan dan akurasi, termasuk model CTC, RNN-T, TDT, TDT-CTC, dan AED. Setiap model dirancang dengan fitur spesifik, seperti model CTC non-autoregresif untuk inferensi cepat dan model AED autoregresif untuk akurasi tinggi.
Perusahaan telah menghilangkan hambatan kecepatan sebelumnya dalam model ASR, meningkatkan kecepatan inferensi hingga 10x. Peningkatan ini disebabkan oleh beberapa peningkatan penting, termasuk kemampuan untuk mentransmisikan tensor secara otomatis ke bfloat16, algoritma loop label yang inovatif, dan pengenalan grafik CUDA di NeMo 2.0.0. Pengoptimalan ini secara signifikan mengurangi overhead cast, beban komputasi yang rendah, dan masalah performa berbeda yang sebelumnya menghambat efisiensi model.
NVIDIA juga mengatasi tantangan presisi pencampuran otomatis (AMP) dan optimalisasi pemrosesan batch untuk lebih meningkatkan kinerja. Dengan memanfaatkan sepenuhnya inferensi setengah presisi dan beralih ke pemrosesan batch penuh, perusahaan mencapai peningkatan throughput yang signifikan. Selain itu, dengan diperkenalkannya node kondisional CUDA Graphs, overhead startup kernel kini dapat dihilangkan dalam model RNN-T dan TDT, yang biasanya memiliki beban komputasi rendah.
Puncak dari penyempurnaan ini tidak hanya meningkatkan kecepatan model ASR NVIDIA, namun juga memberikan penghematan biaya yang signifikan. Membandingkan biaya transkripsi 1 juta jam audio menggunakan CPU dan GPU NVIDIA, kami menunjukkan penghematan biaya hingga 4,5x untuk inferensi bertenaga GPU pada NVIDIA A100. NVIDIA terus menyempurnakan model dan mengintegrasikan teknologi canggih seperti node kondisi Grafik CUDA dan TorchInductor untuk lebih meningkatkan kecepatan dan efisiensi GPU. Model CTC transduser hibrida kompak perusahaan, Parakeet TDT CTC 10M, juga telah meningkatkan akurasi dan kecepatan, sehingga memperluas kemampuan NeMo ASR.
Bagikan artikel ini:
Berita terkini
EdgeCortix mengumumkan hibah pengembangan chiplet AI SAKURA-X
24/11/7 4:30
EdgeCortix Inc. menerima hibah besar dari Organisasi Pengembangan Teknologi Industri dan Energi Baru (NEDO) Jepang untuk memajukan pengembangan chiplet AI-nya.
Laporan ISG: GenAI memperkuat layanan pengembangan aplikasi di Brasil
24/11/7 4:30
Di Brasil, perusahaan semakin banyak yang mengintegrasikan AI generatif (GenAI) ke dalam strategi pengembangan dan pemeliharaan aplikasi mereka
ISG Mengumumkan Perusahaan Brasil Mengadopsi GenAI untuk Pembangunan
24/11/7 4:30
Laporan terbaru dari Information Services Group mengungkapkan bahwa perusahaan-perusahaan Brasil secara luas mengadopsi AI generatif (GenAI) untuk pengembangan dan pemeliharaan aplikasi.
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Profil perusahaan
Berita terkini
EdgeCortix mengumumkan hibah pengembangan chiplet AI SAKURA-X
24/11/7 4:30
EdgeCortix Inc. menerima hibah besar dari Organisasi Pengembangan Teknologi Industri dan Energi Baru (NEDO) Jepang untuk memajukan pengembangan chiplet AI-nya.
Laporan ISG: GenAI memperkuat layanan pengembangan aplikasi di Brasil
24/11/7 4:30
Di Brasil, perusahaan semakin banyak yang mengintegrasikan AI generatif (GenAI) ke dalam strategi pengembangan dan pemeliharaan aplikasi mereka
ISG Mengumumkan Perusahaan Brasil Mengadopsi GenAI untuk Pembangunan
24/11/7 4:30
Laporan terbaru dari Information Services Group mengungkapkan bahwa perusahaan-perusahaan Brasil secara luas mengadopsi AI generatif (GenAI) untuk pengembangan dan pemeliharaan aplikasi.