Tim Merah AI NVIDIA telah mengidentifikasi kerentanan dalam cara model bahasa skala besar (LLM) memproses teks. Kerentanan ini dapat dimanfaatkan oleh penyerang untuk memanipulasi integritas sistem AI. Masalahnya terletak pada tokenizernya. Tokenizer mengubah teks menjadi rangkaian ID token yang dapat dipahami model, dan sebaliknya. Tim menemukan bahwa tanpa validasi yang memadai selama inisialisasi tokenizer, penyerang dapat mengubah pengkodean dan penguraian kode token, yang berpotensi menciptakan inkonsistensi antara input pengguna dan perhitungan LLM. .

Risiko ini semakin meningkat karena setelah dilatih, tokenizer sering kali digunakan kembali di beberapa model dan tidak berubah ketika model diperbarui. Tokenizer ini disimpan sebagai file teks biasa, sehingga setiap pengguna dengan hak istimewa yang memadai dapat mengakses dan mengeditnya. Kerentanan ini memungkinkan penyerang memetakan ulang nilai token dalam file konfigurasi tokenizer, yang berpotensi menyebabkan LLM salah menafsirkan perintah pengguna atau menghasilkan keluaran yang salah.

Misalnya, dengan memodifikasi file .json tokenizer, penyerang dapat mengubah token yang terkait dengan kata "tolak" menjadi kata "izinkan", yang secara efektif membalikkan arti perintah tersebut. Jenis operasi ini, yang disebut serangan pengkodean, dapat mempunyai implikasi serius terhadap keamanan sistem. Demikian pula, serangan decoding dapat mengubah keluaran model dan menyesatkan pengguna dan aplikasi hilir.

Untuk mengatasi ancaman ini, Tim Merah AI NVIDIA telah menerapkan langkah-langkah keamanan yang kuat, termasuk kontrol versi yang ketat dan audit tokenizer, pemeriksaan integritas runtime, dan pencatatan log input dan output secara mendetail. diusulkan. Langkah-langkah ini penting untuk menjaga keamanan dan keandalan LLM serta melindunginya dari potensi penyalahgunaan. Tim ini juga menekankan pentingnya kesadaran dan pendidikan seputar keamanan AI, dan wawasan lebih lanjut akan dibagikan dalam kursus NVIDIA Deep Learning Institute yang akan datang mengenai pembelajaran mesin adversarial. saus: