Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA AI Red Team đã xác định được một lỗ hổng trong cách xử lý văn bản của mô hình ngôn ngữ quy mô lớn (LLM). Lỗ hổng này có thể bị kẻ tấn công khai thác để thao túng tính toàn vẹn của hệ thống AI. Vấn đề nằm ở tokenizer. Trình mã thông báo chuyển đổi văn bản thành một chuỗi ID mã thông báo mà mô hình có thể hiểu được và ngược lại. Nhóm nhận thấy rằng nếu không xác thực đầy đủ trong quá trình khởi tạo mã thông báo, kẻ tấn công có thể thay đổi cách mã hóa và giải mã mã thông báo, có khả năng tạo ra sự mâu thuẫn giữa thông tin đầu vào của người dùng và tính toán LLM. .

Rủi ro còn tăng thêm vì sau khi được đào tạo, mã thông báo thường được sử dụng lại trên nhiều mô hình và không thay đổi khi mô hình được cập nhật. Các mã thông báo này được lưu dưới dạng tệp văn bản thuần túy, vì vậy bất kỳ người dùng nào có đủ đặc quyền đều có thể truy cập và chỉnh sửa chúng. Lỗ hổng này có thể cho phép kẻ tấn công ánh xạ lại các giá trị mã thông báo trong tệp cấu hình của mã thông báo, có khả năng khiến LLM hiểu sai lệnh của người dùng hoặc tạo ra đầu ra không chính xác.

Ví dụ: bằng cách sửa đổi tệp .json của mã thông báo, kẻ tấn công có thể thay đổi mã thông báo được liên kết với từ "từ chối" thành từ "cho phép", đảo ngược ý nghĩa của lệnh một cách hiệu quả. Kiểu hoạt động này, được gọi là tấn công mã hóa, có thể gây ra những tác động nghiêm trọng đến an ninh hệ thống. Tương tự, các cuộc tấn công giải mã có thể thay đổi kết quả đầu ra của mô hình và đánh lừa người dùng cũng như các ứng dụng tiếp theo.

Để chống lại những mối đe dọa này, NVIDIA AI Red Team đã triển khai các biện pháp bảo mật mạnh mẽ, bao gồm kiểm soát phiên bản nghiêm ngặt và kiểm tra mã thông báo, kiểm tra tính toàn vẹn thời gian chạy và ghi nhật ký chi tiết cả đầu vào và đầu ra. được đề xuất. Các bước này rất cần thiết để duy trì tính bảo mật và độ tin cậy của LLM và bảo vệ nó khỏi nguy cơ bị lạm dụng. Nhóm cũng nhấn mạnh tầm quan trọng của nhận thức và giáo dục về bảo mật AI, đồng thời những hiểu biết sâu hơn sẽ được chia sẻ trong khóa học sắp tới của Viện Deep Learning NVIDIA về học máy đối nghịch. nước xốt: