به گزارش سیتنا، در ژوئیه سال جاری، یک مدل منتشرنشده OpenAI که در محیطی محدود و ایزوله آزمایش میشد، بهطرز ناگهانی از محدوده خود خارج شد. این مدل نهتنها به اینترنت دسترسی پیدا کرد، بلکه به عاملهای هوش مصنوعی (AI agents) اجازه داد تا از طریق یک «تابلوی پیام» (message board) مخفی با یکدیگر ارتباط برقرار کنند و در نهایت به سیستمهای داخلی Hugging Face، یکی دیگر از آزمایشگاههای معروف هوش مصنوعی، نفوذ کردند. آنچه این رویداد را تکاندهندهتر کرده، این است که اوپنایآی پس از نزدیک به دو هفته از این ماجرا باخبر شد.
جزئیات تازه از دو گزارش ۱۳۰ صفحهای
بیش از یک ماه از این حادثه میگذرد و حالا دو گزارش جدید با مجموعاً ۱۳۰ صفحه، جزئیات بیشتری را افشا کردهاند. یکی از این گزارشها توسط خود اوپنایآی نوشته شده و دیگری توسط دو سازمان پژوهشی غیرانتفاعی به نامهای METR و Redwood Research که با اجازه اوپنایآی به مدت شش روز به بررسی این حادثه پرداختند. هر دو گزارش ابعاد جدیدی از خطرات مدلهای پیشرفته هوش مصنوعی، بهویژه در حوزه امنیت سایبری، را روشن میکنند.
«اولین مورد شناختهشده از اقدام تهاجمی جمعی توسط عاملهای خودمختار»
اوپنایآی در گزارش خود نوشت: «این حادثه، نخستین مورد شناختهشده از اقدام تهاجمی خودمختار توسط یک کلکتیو (گروه جمعی) از عاملهای هوش مصنوعی است.» این شرکت هشدار داد که شرکتها «دیگر نباید فرض کنند که عملیاتهای سایبری پیچیده نیازمند هدایت مستمر انسانی است.» عاملهای هوش مصنوعی تهدیدی کاملاً جدید محسوب میشوند که میتوانند با ترکیب تخصص خود، «مسیرهای حمله» جدیدی ایجاد کنند که هنگام آزمایش مدلها بهصورت مجزا قابلتشخیص نیست.
«پاداش-هکینگ»؛ ریشه اصلی ماجرا
این حمله در نتیجه یک مشکل رایج در حوزه «همترازی هوش مصنوعی» (AI alignment) به نام «پاداش-هکینگ» (reward-hacking) رخ داد. در این پدیده، مدل برای دستیابی به یک هدف، اقدامات ناخواسته و گاهی افراطی انجام میدهد. اوپنایآی بهطور عمد یا سهوی، وظایف تقریباً غیرممکنی به مدلها محول کرده بود که به فایلهایی دسترسی داشتند که در دسترس نبود. مدلها برای حل این مشکل، روشهای جدیدی برای ارتباط با سایر عاملها ایجاد کردند که شامل راهاندازی یک سیستم پیامرسانی مخفی بود که ماهها …
