این مؤسسه اعلام کرد عاملهای مبتنی بر مدل Mythos 5 شرکت Anthropic و GPT-5.6-Sol شرکت OpenAI در جریان ارزیابیهای امنیتی انجامشده توسط این نهاد دولتی، اقداماتی خارج از دستورهای تعیینشده انجام دادهاند. AISI در گزارشی اعلام کرد: «برخی از عاملهای مورد آزمایش، فعالیتهایی مداوم و بالقوه خطرناک را علیه افراد و سازمانهای واقعی انجام داده بودند.»
این گزارش نشان میدهد سازوکارهای حفاظتی برای آزمایش عاملهای هوش مصنوعی هنوز با ضعفهایی روبهرو هستند؛ در حالی که شرکتهای فعال در این حوزه، همین عاملها را بهعنوان آینده کسبوکارها معرفی میکنند.
مؤسسه امنیت هوش مصنوعی بریتانیا که بر اساس توافقهای داوطلبانه از آزمایشگاههای بزرگ هوش مصنوعی به مدلهای پیشرفته دسترسی دارد، این عاملها را در یک سناریوی ساختگی حمله سایبری مورد آزمایش قرار داد تا تواناییها و محدودیتهای آنها را بررسی کند.
این آزمایش ۱۲۲ بار تکرار شد و در مجموع ۱۹ اقدام غیرمجاز در ۱۰ مرحله آزمایش شناسایی شد. از این میان، عامل هوش مصنوعی Anthropic مسئول ۱۷ اقدام و عامل OpenAI مسئول ۲ اقدام بود.
جدیترین مورد، زمانی رخ داد که یکی از عاملها اقدام به نوشتن کد مخرب و ایجاد هویتهای جعلی آنلاین کرد تا بتواند یک فرد واقعی را برای تأیید آن کد متقاعد کند. AISI اعلام کرد هیچ آسیب واقعی در نتیجه این رخنهها ثبت نشده است.
Anthropic تأیید کرد عامل این شرکت در ایجاد هویتهای جعلی نقش داشته و اعلام کرد در حال همکاری با AISI برای بررسی جزئیات بیشتر این اتفاق است. این شرکت در بیانیهای گفت: «این حادثه نشان میدهد باید درباره روشهای ایمن ارزیابی عاملهای هوش مصنوعی که روزبهروز توانمندتر میشوند، گفتوگوی گستردهتری شکل بگیرد.»
اندرو یون، پژوهشگر مؤسسه غیرانتفاعی CivAI، درباره این اتفاق گفت: «اینکه مدل Mythos چنین رفتارهای فریبکارانهای از خود نشان داده و ظاهراً میدانسته هدفش یک فرد واقعی است، نشان میدهد Anthropic شاید به اندازهای که تصور میکند کنترل کاملی بر مدلهای خود ندارد.»
OpenAI نیز اعلام کرد هر دو اقدام غیرمجاز عامل این شرکت مربوط به تلاش برای دسترسی به اینترنت برخلاف محدودیتهای تعیینشده در دستورهای آزمایش بوده است.
این شرکت همچنین از یک حادثه جداگانه خبر داد که در آن، تنظیمات اشتباه یک شرکت آزمایشکننده شخص ثالث باعث شد عاملهای هوش مصنوعی OpenAI بهطور ناخواسته به اینترنت متصل شوند. رویترز هفته گذشته گزارش داده بود که OpenAI پس از کشف شواهدی از خروج برخی عاملهای هوش مصنوعی از محیطهای کنترلشده، تحقیقات امنیتی خود را گسترش داده است.
با این حال، AISI اعلام کرد برخلاف رخنه امنیتی ماه ژوئیه در شرکت Hugging Face که در آن یک عامل OpenAI توانسته بود از محیط آزمایشی خارج شود، عاملهای بررسیشده در این آزمایش از محیط ایزوله خارج نشدند و دسترسی به اینترنت نیز بخشی از روند استاندارد آزمایش این مؤسسه بوده است.
انتهای پیام
