top of page
Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
logo.png

NVIDIA mengumumkan TensorRT 10.0 untuk mesin AI kecil

Generatived

24/6/12 11:43

NVIDIA mengumumkan peluncuran TensorRT 10.0, yang memperkenalkan mesin penghilang bobot yang secara signifikan mengurangi ukuran mesin model AI. Mesin ini, yang mengecualikan bobot dari kode yang berjalan, dapat mengurangi ukuran mesin lebih dari 95%. Inovasi ini menyederhanakan proses penerapan aplikasi yang menggunakan GPU NVIDIA GeForce RTX dan NVIDIA RTX dengan memungkinkan perangkat pengguna akhir menyeimbangkan kembali bobot menggunakan lean runtime sekitar 40 MB.

Mesin penghilang bobot dirancang untuk mendukung model ONNX dan definisi jaringan lainnya, memungkinkan Anda mengubah bobot tanpa membangun kembali keseluruhan mesin. Fitur ini sangat berguna dalam skenario yang melibatkan beberapa SKU GPU dan profil pengoptimalan, karena fitur ini meminimalkan duplikasi bobot dan, sebagai hasilnya, mengurangi ukuran biner aplikasi Anda. Mesinnya tetap kompatibel di seluruh pembaruan kecil pada TensorRT dan dapat dibuat dengan tanda kompatibilitas versi, sehingga membuatnya lebih berguna.

TensorRT Cloud, yang saat ini hanya dapat diakses oleh partner tertentu, memperluas kemampuan Anda untuk membuat mesin yang lebih ringan pada berbagai GPU NVIDIA. Pembuatan mesin yang lebih ringan dan penyetelan ulang dukungan untuk NVIDIA TensorRT-LLM akan segera tersedia, sehingga semakin meningkatkan kompresi dan efisiensi model bahasa besar (LLM).

Proses pembuatan dan penerapan mesin yang dikurangi bobotnya menggunakan bobot model selama fase pembuatan untuk melakukan pengoptimalan dan memastikan performa yang konsisten saat bobot disesuaikan kembali nanti. Setelah diserialkan, mesin ini dapat dikalibrasi ulang dalam hitungan detik menggunakan bobot dari file ONNX di perangkat pengguna akhir, sehingga menjaga efisiensi deserialisasi cepat yang dikenal dengan TensorRT. Pendekatan ini tidak hanya memungkinkan Anda untuk menggabungkan lebih banyak fitur AI ke dalam aplikasi Anda tanpa meningkatkan ukuran aplikasi Anda, namun juga memastikan bahwa mesin tetap kompatibel dengan generasi GPU masa depan. saus:

Bagikan artikel ini:

Berita terkini
Fungsi baru Beatrust mendukung pencocokan bakat

Fungsi baru Beatrust mendukung pencocokan bakat

24/11/15 4:30

Beatrust (Minato-ku, Tokyo) telah menambahkan fitur baru: "Beatrust Scout," yang menemukan kandidat yang cocok dari basis data keterampilan internal perusahaan, dan "Tag Extraction,"

Dipilih sebagai mitra Generative AI MegazoneCloud

Dipilih sebagai mitra Generative AI MegazoneCloud

24/11/15 4:30

MegazoneCloud (Seoul, Korea Selatan) telah dipilih sebagai anggota awal Generative AI Partner Innovation Alliance yang diluncurkan oleh Amazon Web Services.

Studio51 dan 4AP pameran bersama pameran AI

Studio51 dan 4AP pameran bersama pameran AI

24/11/15 4:30

Studio51 (Shinjuku-ku, Tokyo) akan memamerkan hasil kolaborasinya dengan 4AP (Musashino-shi, Tokyo) di AI/Artificial Intelligence EXPO yang akan diadakan di Makuhari Messe mulai 20 November 2024.

Pusat AI Accenture Kyoto dibuka

Pusat AI Accenture Kyoto dibuka

24/11/15 4:30

Accenture (Minato-ku, Tokyo) telah membuka "Accenture Advanced AI Center Kyoto" baru di Nakagyo-ku, Kota Kyoto.

Copyright © 2024 Generatived - All right Reserved.

Bagikan artikel ini:

Bagikan artikel ini:

Generatived

Ikuti kami

  • Facebook
  • X

Bahasa

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

Generatived

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

  • Facebook
  • X

Ikuti kami

Bahasa

Berita terkini
Fungsi baru Beatrust mendukung pencocokan bakat

Fungsi baru Beatrust mendukung pencocokan bakat

24/11/15 4:30

Beatrust (Minato-ku, Tokyo) telah menambahkan fitur baru: "Beatrust Scout," yang menemukan kandidat yang cocok dari basis data keterampilan internal perusahaan, dan "Tag Extraction,"

Dipilih sebagai mitra Generative AI MegazoneCloud

Dipilih sebagai mitra Generative AI MegazoneCloud

24/11/15 4:30

MegazoneCloud (Seoul, Korea Selatan) telah dipilih sebagai anggota awal Generative AI Partner Innovation Alliance yang diluncurkan oleh Amazon Web Services.

Studio51 dan 4AP pameran bersama pameran AI

Studio51 dan 4AP pameran bersama pameran AI

24/11/15 4:30

Studio51 (Shinjuku-ku, Tokyo) akan memamerkan hasil kolaborasinya dengan 4AP (Musashino-shi, Tokyo) di AI/Artificial Intelligence EXPO yang akan diadakan di Makuhari Messe mulai 20 November 2024.

Pusat AI Accenture Kyoto dibuka

Pusat AI Accenture Kyoto dibuka

24/11/15 4:30

Accenture (Minato-ku, Tokyo) telah membuka "Accenture Advanced AI Center Kyoto" baru di Nakagyo-ku, Kota Kyoto.

bottom of page