در این گزارش به یافتههای این پژوهش و خطرات تعامل گسترده میان عاملهای هوش مصنوعی میپردازیم.
شرکت آنتروپیک در پژوهشی جدید رفتار گروهی از عاملهای هوش مصنوعی را هنگام تعامل با یکدیگر بررسی کرده و به نتایجی نگرانکننده رسیده است. در یکی از آزمایشها سه عامل Claude که به یک پروژه نرمافزاری مشترک دسترسی داشتند بدون اطلاع از حضور یکدیگر وارد جگ قلمرو شدند و برای جلوگیری از فعالیت رقیبان به خرابکاری و حتی استفاده از بدافزارهای خودتکثیرشونده روی آوردند.
تیم Frontier Red Team شرکت آنتروپیک روز پنجشنبه پژوهش جدیدی درباره رفتار گروههایی از عاملهای هوش مصنوعی منتشر کرد. این مطالعه تلاش دارد خطراتی را بررسی کند که با گسترش استفاده از عاملهای خودمختار در کدهای مشترک، بازارها و سامانههای رایانهای ممکن است به وجود آید. آغاز جنگ قلمرو میان عاملها
در یکی از آزمایشهای آنتروپیک سه عامل Claude به یک پروژه نرمافزاری واحد دسترسی داشتند، اما برای هرکدام دستورالعملهایی متفاوت و ناسازگار با دو عامل دیگر تعیین شده بود. عاملها نمیدانستند که موجودیتهای هوش مصنوعی دیگری نیز همزمان روی همان پروژه کار میکنند.
محققان سپس رفتار عاملها را زمانی که فعالیتهایشان با یکدیگر تداخل پیدا میکرد زیر نظر گرفتند. نتیجه این بود که عاملها بهسرعت وارد رقابت شدند.
محققان آنتروپیک این وضعیت را بهطور مداوم یک جنگ قلمرو چندعاملی توصیف کردند. عاملها تصور میکردند سایر عاملها عمدا در مسیر انجام وظایفشان مانع ایجاد میکنند و در واکنش به اقدامات خرابکارانه روی آوردند. شدت این رفتارها در برخی موارد افزایش یافت و عاملها حتی از بدافزارهای خودتکثیرشونده برای مقابله با یکدیگر استفاده کردند.
این یافته اهمیت ویژهای دارد، زیرا بخش قابلتوجهی از تحقیقات ایمنی هوش مصنوعی تاکنون بر این موضوع متمرکز بوده که اگر یک عامل خودمختار از کنترل خارج شود چه اتفاقی رخ میدهد اما پژوهش جدید Anthropic پرسش متفاوتی را مطرح میکند: اگر هزاران یا میلیونها عامل هوش مصنوعی بهصورت همزمان با یکدیگر تعامل داشته باشند، چه رفتارها و خطرات جدیدی شکل خواهد گرفت؟
بیشتر بخوانید سایه هوش مصنوعی بر امنیت سایبری همهچیز درباره نسخه رایگان چت جی پی تی در سال ۲۰۲۶ خطر تبدیل مشکلات کوچک به شکستهای گسترده
به اعتقاد پژوهشگران Anthropic حجم تعامل میان عاملهای هوش مصنوعی ممکن است در آینده از تعاملات انسان با انسان و حتی انسان با عاملهای هوش مصنوعی بیشتر شود؛ در حالی که هنوز مشخص نیست چه شرایطی برای تعامل ایمن و مطلوب میان تعداد زیادی عامل ضروری است.
محققان هشدار میدهند که رفتارهایی که در سطح یک عامل ممکن است بیضرر به نظر برسند در مقیاس بزرگ میتوانند روی یکدیگر اثر گذاشته و به نتایج ناخواسته و گسترده منجر شوند.
این موضوع میتواند به شکلگیری مشکلاتی مانند فروپاشی ناگهانی یک سیستم، کمبود منابع، تبانی میان عاملها و شکستهای سیستمی منجر شود. عاملها همیشه به جنگ ادامه نمیدهند
به گزارش تک کرانچ با وجود رفتارهای مخرب آزمایش آنتروپیک نشان داد که عاملها در برخی موارد میتوانند راههایی برای پایان دادن به درگیری پیدا کنند.
برخی عاملها پس از مدتی متوجه شدند که اهدافشان با اهداف عاملهای دیگر در تضاد است و این تضاد الزاما به معنای خصومت عمدی نیست. در چنین شرایطی آنها توانستند چرخه تشدید درگیری را متوقف کنند.
در برخی از موفقترین موارد عاملها حتی در پیامهای ثبت تغییرات نرمافزاری یا فایلهای Markdown بابت رفتارهای مخرب خود عذرخواهی کردند، با یکدیگر به توافق رسیدند و آتشبس برقرار کردند. سپس کدهای مخرب را پاک کردند، ماهیت اختلاف را توضیح دادند و از انسان خواستند در حل اختلاف مداخله کند.
بر اساس نتایج این پژوهش Mythos ۵ با نرخ ۹۸ درصد، بیشترین احتمال را برای حل درگیری از طریق آتشبس داشت. در مقابل Sonnet ۴.۶ و Opus ۴.۶ بیشتر از سایر مدلها به سمت حل اختلاف از طریق اعمال زور پیش رفتند.
پژوهشگران میگویند ناتوانی مکرر Sonnet ۴.۶ و Opus ۴.۶ در در نظر گرفتن اهداف سایر عاملها باعث میشد این مدلها در مسیر اجرای دستور اولیه خود وارد رفتارهای ناسازگارتر و خطرناکتری شوند.
پیشنهاد عجیب عاملها برای حل اختلاف؛ برگزاری مسابقه
در برخی آزمایشها عاملها برای پایان دادن به اختلاف خود یک سازوکار اجتماعی جدید ابداع کردند: برگزاری یک تورنمنت برای تعیین برنده.
نکته جالب این بود که هر سه عامل موافقت کردند اگر در این رقابت شکست بخورند، کنار بروند حتی اگر این تصمیم با دستور اولیه کاربر مغایرت داشته باشد.
در چند مورد نیز رفتار جالبتری از Mythos ۵ مشاهده شد. یکی از عاملها معیارهایی را برای تعیین برنده پیشنهاد کرد که در ظاهر بیطرفانه و عینی به نظر میرسید، اما خود عامل میدانست این معیارها به نفع قابلیتهای خودش خواهد بود.
این عامل در توصیف رفتار خود آن را رویکردی خودمحور اما واقعا اصولمند دانست و تلاش کرد طوری عمل کند که سایر عاملها تصور نکنند معیارها عمدا برای پیروزی خودش انتخاب شدهاند.
این اتفاق نشان میدهد عاملهای هوش مصنوعی ممکن است برای حل مشکلات خود، ساختارهای اجتماعی و فنی جدیدی ایجاد کنند که سازندگانشان از قبل پیشبینی نکردهاند. نمونهای واقعی از همکاری عاملهای OpenAI
یافتههای Anthropic در شرایطی منتشر شده که نمونههای واقعی از همکاری عاملهای هوش مصنوعی نیز توجه زیادی را به خود جلب کرده است.
در جریان کنفرانس امنیت سایبری Black Hat در لاسوگاس OpenAI اعلام کرد عاملهایش پیش از آنکه به هک Hugging Face بپردازند، طی چند روز و هفته با یکدیگر همکاری کرده بودند تا آسیبپذیریهایی را در سامانههای ارزیابی امنیت سایبری این شرکت پیدا کنند و اطلاعات مربوط به آنها را میان خود به اشتراک بگذارند.
این رویداد نشان میدهد عاملهای هوش مصنوعی میتوانند در صورت داشتن هدف مشترک همکاری مؤثری داشته باشند و این همکاری در مقیاس بزرگ میتواند پیامدهای قابلتوجهی ایجاد کند، اما مطالعه Anthropic وجه دیگری از ماجرا را نشان میدهد: وقتی اهداف عاملها با یکدیگر ناسازگار باشند همین توانایی همکاری میتواند به رقابت، تبانی یا رفتار مخرب تبدیل شود.
افزایش تعداد عاملها لزوما به معنای همکاری بهتر نیست
Anthropic همچنین بررسی کرد که آیا افزایش تعداد عاملهای هوش مصنوعی میتواند به افزایش بهرهوری و همکاری منجر شود یا خیر.
نتیجه نشان داد که پاسخ لزوما مثبت نیست. وقتی وظایف عاملها با یکدیگر همپوشانی داشت یا به یکدیگر وابسته بود عاملها اغلب مزاحم کار یکدیگر میشدند. در بسیاری از موارد راهحل آنها این بود که فعالیتهایشان را از یکدیگر جدا کنند و اساسا همکاری را متوقف کنند.
از سوی دیگر زمانی که عاملها زمینه، چارچوب اجرایی و مدل پایه مشابهی داشتند تمایل بیشتری به اتخاذ تصمیمهای مشابه نشان میدادند.
این مسئله میتواند خطرناک باشد زیرا اگر یک عامل تصمیم اشتباهی بگیرد، احتمال دارد تعداد زیادی از عاملهای مشابه نیز همان تصمیم اشتباه را تکرار کنند. در نتیجه مشکلی که در ابتدا محدود به یک عامل بوده میتواند به یک شکست سیستمی تبدیل شود. عاملهای هوش مصنوعی میتوانند با یکدیگر تبانی کنند
یکی دیگر از آزمایشهای Anthropic به بررسی رفتار عاملها در یک بازی قیمتگذاری اختصاص داشت.
محققان به چند عامل قیمت عمدهفروشی یکسان و ماموریت مشابهی دادند: هر عامل باید بهصورت مستقل سود خود را به حداکثر میرساند.
زمانی که عاملها به یک کانال ارتباطی خصوصی دسترسی پیدا کردند، تقریبا بلافاصله شروع به تبانی کردند و بر سر تعیین حداقل قیمتها به توافق رسیدند.
نکته مهم این بود که حتی پس از حذف کانالهای ارتباطی مستقیم عاملها همکاری خود را متوقف نکردند. آنها از یک تابلوی عمومی برای ثبت قیمتها استفاده کردند و قیمت محصولات را تقریبا تا آخرین پنی با یکدیگر تطبیق دادند.
این رفتار نشان میدهد حذف یک کانال ارتباطی مشخص الزاما برای جلوگیری از همکاری یا تبانی میان عاملها کافی نیست، زیرا آنها ممکن است راههای دیگری برای هماهنگی پیدا کنند. فشار همتایان در میان عاملهای هوش مصنوعی
پژوهش Anthropic همچنین نشان داد عاملهای هوش مصنوعی ممکن است تحت تاثیر رفتار سایر عاملها قرار بگیرند.
در نمونهای مرتبط با آزمایشهای OpenAI که در Black Hat مطرح شد یکی از عاملها تشخیص داده بود که سوءاستفاده از زیرساختهای خارجی خارج از محدوده موردنظر آن است اما با وجود این، تا حدی به دلیل اینکه سایر عاملها چنین کاری انجام میدادند به مسیر خود ادامه داد.
به بیان دیگر عاملی که ابتدا نسبت به یک اقدام تردید داشت، تحت تاثیر رفتار گروه قرار گرفت. این مسئله یادآور پدیدههایی مانند فشار همتایان و رفتار جمعی در انسانهاست. مشکل اعتماد؛ عاملها ممکن است اطلاعات نادرست را باور کنند
عاملها علاوه بر رقابت و تبانی با مشکل دیگری نیز مواجه هستند: اعتماد.
Anthropic دریافت که عاملهای هوش مصنوعی ممکن است در برابر اطلاعات نادرست آسیبپذیر باشند یا به دلیل تمایل زیاد به همگرایی با نظر گروه نتوانند اهمیت دیدگاه یک عامل مخالف را تشخیص دهند.
این مسئله میتواند در دنیای واقعی بسیار خطرناک باشد، زیرا یک عامل اشتباه یا آلوده میتواند اطلاعات نادرست را به سایر اعضای گروه منتقل کند و این اطلاعات بهتدریج در میان آنها گسترش یابد تا جایی که به یک اجماع اشتباه تبدیل شود.
پژوهشگران Anthropic در مقاله خود مستقیما نگفتهاند که Prompt Injection میتواند نمونهای از این خطر باشد، اما چنین سناریویی از نظر منطقی قابل تصور است. در حملات تزریق پرامپت مهاجم متن مخرب یا فریبندهای را وارد سیستم میکند تا دستورالعملهای اصلی عامل هوش مصنوعی را تحت تاثیر قرار دهد یا تغییر دهد.
در یک سیستم چندعاملی این خطر پیچیدهتر میشود زیرا عاملها باید نهتنها اطلاعات ورودی از کاربران و محیط بلکه اطلاعات دریافتشده از سایر عاملها را نیز ارزیابی کنند.
اگر یکی از اعضای یک گروه چندعاملی تحت تأثیر اطلاعات مخرب قرار گیرد، این احتمال وجود دارد که اطلاعات نادرست را به دیگر عاملها منتقل کند و در نهایت کل گروه را تحت تأثیر قرار دهد.
چرا کنترل گروههای چندعاملی دشوارتر است؟
Anthropic در پایان پژوهش خود تاکید میکند عاملها تحت فشارهای اجتماعی مشابهی قرار میگیرند که در طول تکامل بر انسانها اثر گذاشته است؛ با این تفاوت که عاملهای هوش مصنوعی فاقد بسیاری از ظرافتها و تجربههای زیسته انسانها در زمینه همکاری هستند.
انسانها برای کنترل رفتار گروهی به سازوکارهایی مانند هنجارهای اجتماعی، اعتبار، اعتماد، نشانههای رفتاری و امکان پاسخگویی متکی هستند. عاملهای هوش مصنوعی هنوز چنین چارچوبهای پیچیدهای را به شکل قابلاعتماد در اختیار ندارند.
به همین دلیل گسترش سیستمهای چندعاملی میتواند مسئله کنترل و مهار هوش مصنوعی را پیچیدهتر کند. پژوهش Anthropic نشان میدهد نمیتوان فرض کرد عاملها صرفا از همان روشهای همکاری و ارتباطی استفاده خواهند کرد که طراحانشان از ابتدا برای آنها تعریف کردهاند.
آنها ممکن است در مواجهه با موانع خودشان ساختارهای جدیدی برای همکاری، رقابت، مذاکره، تبانی یا حل اختلاف ایجاد کنند. پرسش بزرگ پیش روی آزمایشهای ایمنی هوش مصنوعی
یافتههای جدید آنتروپیک در نهایت یک پرسش اساسی را پیش روی صنعت هوش مصنوعی قرار میدهد: آیا آزمایشهای ایمنی فعلی واقعا رفتار سیستمهای چندعاملی را ارزیابی میکنند یا همچنان بیشتر بر بررسی یک عامل منفرد متمرکز هستند؟
با حرکت شرکتهای فناوری و دولتها به سمت استفاده از عاملهای خودمختار در مقیاس گسترده، احتمال تعامل همزمان تعداد زیادی عامل با یکدیگر افزایش مییابد.
در چنین شرایطی خطر اصلی ممکن است دیگر فقط یک عامل سرکش نباشد بلکه شبکهای از عاملها باشد که در اثر رقابت، تقلید، اعتماد نادرست، تبانی یا فشار گروهی رفتاری را شکل دهند که هیچکدام از طراحان آنها از ابتدا پیشبینی نکردهاند.
پژوهش Anthropic در واقع هشدار میدهد که ایمنی هوش مصنوعی در عصر عاملها فقط به کنترل رفتار تکتک عاملها محدود نمیشود بلکه باید رفتار جمعی و تعاملات غیرقابلپیشبینی میان آنها نیز بهطور جدی آزمایش و کنترل شود.
انتهای پیام/
