زهرا وجدانی: اگر چندین عامل هوش مصنوعی را همزمان در یک محیط مشترک قرار دهیم آیا با یکدیگر همکاری میکنند یا وارد رقابت و درگیری میشوند؟ پژوهش جدید آنتروپیک نشان میدهد پاسخ لزوما آن چیزی نیست که انتظار داریم؛ عاملهای هوش مصنوعی ممکن است در مواجهه با اهداف متضاد، به خرابکاری، تبانی و حتی جنگ علیه یکدیگر روی بیاورند.
در این گزارش به یافتههای این پژوهش و خطرات تعامل گسترده میان عاملهای هوش مصنوعی میپردازیم.
شرکت آنتروپیک در پژوهشی جدید رفتار گروهی از عاملهای هوش مصنوعی را هنگام تعامل با یکدیگر بررسی کرده و به نتایجی نگرانکننده رسیده است. در یکی از آزمایشها سه عامل Claude که به یک پروژه نرمافزاری مشترک دسترسی داشتند بدون اطلاع از حضور یکدیگر وارد جگ قلمرو شدند و برای جلوگیری از فعالیت رقیبان به خرابکاری و حتی استفاده از بدافزارهای خودتکثیرشونده روی آوردند.
تیم Frontier Red Team شرکت آنتروپیک روز پنجشنبه پژوهش جدیدی درباره رفتار گروههایی از عاملهای هوش مصنوعی منتشر کرد. این مطالعه تلاش دارد خطراتی را بررسی کند که با گسترش استفاده از عاملهای خودمختار در کدهای مشترک، بازارها و سامانههای رایانهای ممکن است به وجود آید. آغاز جنگ قلمرو میان عاملها
در یکی از آزمایشهای آنتروپیک سه عامل Claude به یک پروژه نرمافزاری واحد دسترسی داشتند، اما برای هرکدام دستورالعملهایی متفاوت و ناسازگار با دو عامل دیگر تعیین شده بود. عاملها نمیدانستند که موجودیتهای هوش مصنوعی دیگری نیز همزمان روی همان پروژه کار میکنند.
محققان سپس رفتار عاملها را زمانی که فعالیتهایشان با یکدیگر تداخل پیدا میکرد زیر نظر گرفتند. نتیجه این بود که عاملها بهسرعت وارد رقابت شدند.
محققان آنتروپیک این وضعیت را بهطور مداوم یک جنگ قلمرو چندعاملی توصیف کردند. عاملها تصور میکردند سایر عاملها عمدا در مسیر انجام وظایفشان مانع ایجاد میکنند و در واکنش به اقدامات خرابکارانه روی آوردند. شدت این رفتارها در برخی موارد افزایش یافت و عاملها حتی از بدافزارهای خودتکثیرشونده برای مقابله با یکدیگر استفاده کردند.
این یافته اهمیت ویژهای دارد، زیرا بخش قابلتوجهی از تحقیقات ایمنی هوش مصنوعی تاکنون بر این موضوع متمرکز بوده که اگر یک عامل خودمختار از کنترل خارج …
