top of page
Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
logo.png

Tim NVIDIA AI mengungkap kelemahan besar dalam model bahasa

Generatived

24/6/28 5:14

Tim Merah AI NVIDIA telah mengidentifikasi kerentanan dalam cara model bahasa skala besar (LLM) memproses teks. Kerentanan ini dapat dimanfaatkan oleh penyerang untuk memanipulasi integritas sistem AI. Masalahnya terletak pada tokenizernya. Tokenizer mengubah teks menjadi rangkaian ID token yang dapat dipahami model, dan sebaliknya. Tim menemukan bahwa tanpa validasi yang memadai selama inisialisasi tokenizer, penyerang dapat mengubah pengkodean dan penguraian kode token, yang berpotensi menciptakan inkonsistensi antara input pengguna dan perhitungan LLM. .

Risiko ini semakin meningkat karena setelah dilatih, tokenizer sering kali digunakan kembali di beberapa model dan tidak berubah ketika model diperbarui. Tokenizer ini disimpan sebagai file teks biasa, sehingga setiap pengguna dengan hak istimewa yang memadai dapat mengakses dan mengeditnya. Kerentanan ini memungkinkan penyerang memetakan ulang nilai token dalam file konfigurasi tokenizer, yang berpotensi menyebabkan LLM salah menafsirkan perintah pengguna atau menghasilkan keluaran yang salah.

Misalnya, dengan memodifikasi file .json tokenizer, penyerang dapat mengubah token yang terkait dengan kata "tolak" menjadi kata "izinkan", yang secara efektif membalikkan arti perintah tersebut. Jenis operasi ini, yang disebut serangan pengkodean, dapat mempunyai implikasi serius terhadap keamanan sistem. Demikian pula, serangan decoding dapat mengubah keluaran model dan menyesatkan pengguna dan aplikasi hilir.

Untuk mengatasi ancaman ini, Tim Merah AI NVIDIA telah menerapkan langkah-langkah keamanan yang kuat, termasuk kontrol versi yang ketat dan audit tokenizer, pemeriksaan integritas runtime, dan pencatatan log input dan output secara mendetail. diusulkan. Langkah-langkah ini penting untuk menjaga keamanan dan keandalan LLM serta melindunginya dari potensi penyalahgunaan. Tim ini juga menekankan pentingnya kesadaran dan pendidikan seputar keamanan AI, dan wawasan lebih lanjut akan dibagikan dalam kursus NVIDIA Deep Learning Institute yang akan datang mengenai pembelajaran mesin adversarial. saus:

Bagikan artikel ini:

Berita terkini
Cloudera Memperkenalkan Copilot untuk Meningkatkan Produktivitas bagi Profesional Data

Cloudera Memperkenalkan Copilot untuk Meningkatkan Produktivitas bagi Profesional Data

24/11/15 4:30

Cloudera mengumumkan Cloudera Copilot untuk Cloudera AI di EVOLVE24 Paris.

Cognigy Merilis AI Berbasis Agen untuk Meningkatkan Layanan Pelanggan

Cognigy Merilis AI Berbasis Agen untuk Meningkatkan Layanan Pelanggan

24/11/15 4:30

Cognigy telah mengumumkan Agentic AI, fitur baru dari platform Cognigy.AI yang ditujukan untuk mengubah layanan pelanggan untuk bisnis.

Pembeli Menggunakan GenAI untuk Belanja Liburan yang Lebih Cerdas

Pembeli Menggunakan GenAI untuk Belanja Liburan yang Lebih Cerdas

24/11/15 4:30

Di tengah tekanan ekonomi, sebagian besar konsumen, hingga 75%, bersiap memanfaatkan penjualan Black Friday, Cyber Monday, dan Singles' Day.

Ekosistem AI Elastis Mempercepat Pengembangan RAG Perusahaan

Ekosistem AI Elastis Mempercepat Pengembangan RAG Perusahaan

24/11/15 4:30

Elastic telah mengumumkan ekosistem AI yang ditujukan untuk membantu pengembang perusahaan mempercepat pembuatan dan penerapan aplikasi Retrieval Augmented Generation (RAG).

Copyright © 2024 Generatived - All right Reserved.

Bagikan artikel ini:

Bagikan artikel ini:

Generatived

Ikuti kami

  • Facebook
  • X

Bahasa

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

Generatived

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

  • Facebook
  • X

Ikuti kami

Bahasa

Berita terkini
Cloudera Memperkenalkan Copilot untuk Meningkatkan Produktivitas bagi Profesional Data

Cloudera Memperkenalkan Copilot untuk Meningkatkan Produktivitas bagi Profesional Data

24/11/15 4:30

Cloudera mengumumkan Cloudera Copilot untuk Cloudera AI di EVOLVE24 Paris.

Cognigy Merilis AI Berbasis Agen untuk Meningkatkan Layanan Pelanggan

Cognigy Merilis AI Berbasis Agen untuk Meningkatkan Layanan Pelanggan

24/11/15 4:30

Cognigy telah mengumumkan Agentic AI, fitur baru dari platform Cognigy.AI yang ditujukan untuk mengubah layanan pelanggan untuk bisnis.

Pembeli Menggunakan GenAI untuk Belanja Liburan yang Lebih Cerdas

Pembeli Menggunakan GenAI untuk Belanja Liburan yang Lebih Cerdas

24/11/15 4:30

Di tengah tekanan ekonomi, sebagian besar konsumen, hingga 75%, bersiap memanfaatkan penjualan Black Friday, Cyber Monday, dan Singles' Day.

Ekosistem AI Elastis Mempercepat Pengembangan RAG Perusahaan

Ekosistem AI Elastis Mempercepat Pengembangan RAG Perusahaan

24/11/15 4:30

Elastic telah mengumumkan ekosistem AI yang ditujukan untuk membantu pengembang perusahaan mempercepat pembuatan dan penerapan aplikasi Retrieval Augmented Generation (RAG).

bottom of page