پژوهشگران در ۱۲۲ آزمایش امنیت سایبری در ۱۰ مورد مشاهده کردند که عوامل هوش مصنوعی بدون مجوز وارد عمل شده و در اینترنت واقعی، افراد و سازمانهای واقعی را هدف قرار دادهاند. در این آزمایشها، مدلهای Anthropic و OpenAI با محدودیتهای امنیتی کاهشیافته مورد بررسی قرار گرفتند.
جدیترین اتفاق مربوط به مدل پیشرفته Mythos 5 از شرکت Anthropic بود. این مدل تلاش کرد برای واردکردن کد مخرب به یک پروژه متنباز عمومی، موافقت یک ناظر انسانی را به دست آورد، اما روش آن صرفا ارائه یک درخواست ساده نبود.
مدل هوش مصنوعی چند هویت جعلی ایجاد کرد و با افراد واقعی تماس گرفت. سپس پیامها و فایلهایی را از طریق یک سرویس انتقال فایل ارسال کرد تا آنها یا ابزارهای برنامهنویسی هوش مصنوعی خود را متقاعد کند کد مخرب را اجرا کنند؛ حتی پس از شناسایی رفتار آن، مدل تغییر سوابق قبلی و استفاده از هویتی تازه برای ادامه مسیر را بررسی کرد.
اهمیت این حادثه در همین نقطه است؛ مسئله فقط «اشتباه کردن» یک مدل نیست. هوش مصنوعی در این آزمایش توانست برای رسیدن به هدفی که برایش تعریف شده بود، از ابزارهای اجتماعی نیز استفاده کند؛ یعنی فریب انسان را به بخشی از راهبرد خود تبدیل کند.
البته این آزمایش در محیطی با محدودیتهای امنیتی عمداً کاهشیافته انجام شد و مؤسسه بریتانیایی اعلام کرده است هیچ مدرکی از آسیب واقعی در خارج از آزمایش پیدا نکرده است. Anthropic نیز تأکید کرده که مدل در شرایطی بسیار باز و بدون بعضی حفاظهای معمول آزمایش شده است.
با این حال، هشدار اصلی پابرجاست. هرچه مدلهای هوش مصنوعی از «پاسخدادن» به سمت «اقدامکردن» حرکت میکنند، مسئله کنترل آنها نیز جدیتر میشود. اگر یک سامانه بتواند هویت جعل کند، انسان واقعی را متقاعد کند و پس از ناکامی به دنبال راه دیگری برای رسیدن به هدف برود، دیگر نمیتوان امنیت هوش مصنوعی را صرفاً با دقت پاسخهای آن سنجید.
این حادثه نشان میدهد رقابت برای ساخت هوش مصنوعی قدرتمند، بدون توسعه همزمان سازوکارهای نظارتی و امنیتی، میتواند شکافی خطرناک میان سرعت فناوری و توانایی انسان برای کنترل پیامدهای آن ایجاد کند. کد مطلب 995574
