Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Anthropic, một công ty nghiên cứu AI, đã tiến hành thử nghiệm "đội đỏ" hoặc thử nghiệm đối nghịch trên các hệ thống AI để đo lường và nâng cao tính an toàn và bảo mật của chúng. Công ty gần đây đã tham gia một nỗ lực được Nhà Trắng công bố để tiến hành thử nghiệm bảo mật nội bộ và bên ngoài các hệ thống AI. Trọng tâm là "Đội đỏ Đe dọa Biên giới" để đánh giá rủi ro và tạo ra các phương pháp lặp lại để thực hiện các thử nghiệm như vậy trên nhiều chủ đề khác nhau. Một dự án gần đây về rủi ro sinh học cho thấy các mô hình AI có thể sớm gây ra rủi ro cho an ninh quốc gia, nhưng vẫn có các biện pháp giảm thiểu để giảm thiểu những rủi ro này. Anthropic hiện đang mở rộng công việc này để đảm bảo xác định được rủi ro và xây dựng các biện pháp giảm thiểu. Quá trình này bao gồm việc làm việc với các chuyên gia trong lĩnh vực để xác định các mô hình mối đe dọa và xây dựng các đánh giá tự động mới dựa trên kiến ​​thức của họ. Anthropic cũng chia sẻ những phát hiện của mình với các chính phủ, viện nghiên cứu và các bên liên quan khác. Nghiên cứu của tương lai sẽ tập trung vào việc đo lường tác hại tiềm tàng mà các mô hình AI có thể gây ra so với các công cụ tìm kiếm chẳng hạn. Anthropic cũng đang chuẩn bị cho việc phát hành mô hình Frontier Threat không thuộc đội đỏ. Anthropic đang xây dựng một nhóm nghiên cứu đội đỏ về mối đe dọa biên giới và sẵn sàng chia sẻ những phát hiện của mình với những đối tượng phù hợp.