Tập đoàn Nvidia (Mỹ) vừa công bố công cụ mới nhằm kiểm soát các tác nhân AI. Ảnh: VTV
AI được giao một việc, nhưng lại tự tìm đường vào hệ thống ngoài phạm vi cho phép. Sau những sự cố như vậy xảy ra trên thực tế, Tập đoàn Nvidia (Mỹ) vừa công bố công cụ mới nhằm kiểm soát các tác nhân AI. Đáng chú ý, cơ chế kiểm soát hoạt động độc lập với tác nhân AI, nhằm ngăn những hành động vượt quá quyền được cấp.
Công cụ mới của Nvidia có hai lớp bảo vệ: OpenShell giới hạn dữ liệu và hệ thống mà tác nhân AI được phép truy cập; Sentry cung cấp một lớp bảo vệ riêng theo dõi hoạt động, có thể cô lập tác nhân nếu nó tìm cách vượt giới hạn cho phép.
Lãnh đạo Nvidia cho rằng công cụ mới này có thể đã ngăn được vụ các tác nhân của OpenAI xâm nhập hệ thống Hugging Face hồi tháng 7.
Cuối tuần qua, OpenAI cũng đưa ra thông báo về một sự cố khác. Trong môi trường huấn luyện bị hạn chế kết nối internet, một tác nhân vẫn tìm được đường liên hệ với chatbot bên ngoài. OpenAI đã tạm dừng các hoạt động có sử dụng công cụ đối với những mô hình mạnh nhất để kiểm tra lại hệ thống bảo vệ.
Các sự cố liên tiếp khiến vấn đề an toàn AI tiếp tục được chú ý tại Mỹ. Trong khi các hãng công nghệ tìm cách tăng khả năng kiểm soát tác nhân AI, thì chính quyền Tổng thống Donald Trump mong muốn duy trì tốc độ phát triển công nghệ.
Một số lãnh đạo công nghệ muốn kiểm tra an toàn AI chặt chẽ hơn. Nhưng Tổng thống Donald Trump lo ngại rằng việc phát triển chậm lại sẽ khiến Mỹ mất lợi thế trước Trung Quốc.
Bình luận (0)