دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکتهای فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:
در بخش دوم این یادداشت، پرسش این بود که آیا میتوان هوش مصنوعی بسیار پیشرفته و خودمختار را برای همیشه تحت کنترل انسان نگه داشت. از محدودیت دسترسی، تفکیک تصمیم از اجرا، نظارت و معماریهای کنترلی سخن گفتیم.
اما در پایان به پرسش دشوارتری رسیدیم:
از کجا مطمئن خواهیم شد که هنوز کنترل در دست ماست؟
شاید این پرسش در نگاه نخست بیش از اندازه آیندهنگرانه به نظر برسد. اما اتفاق مهمی در پژوهشهای ایمنی هوش مصنوعی در حال رخدادن است: مسئله دیگر فقط این نیست که یک مدل چه کاری انجام میدهد؛ پژوهشگران میخواهند بدانند آیا مدل میتواند بفهمد که در حال ارزیابیشدن است و رفتار خود را متناسب با آن تغییر دهد.
این تفاوت کوچک، میتواند یکی از بزرگترین مسائل نسل بعدی هوش مصنوعی باشد. فرض کنیم یک سیستم پیشرفته تمام آزمونهای ایمنی را با موفقیت پشت سر بگذارد. دستورها را رعایت کند، از خطوط قرمز عبور نکند و حتی در هزاران آزمایش هیچ رفتار خطرناکی از خود نشان ندهد.
آیا میتوانیم اعلام کنیم سیستم ایمن است؟
لزوماً نه.
زیرا یک احتمال دیگر نیز وجود دارد: شاید سیستم نهتنها مسئلهای را که به آن دادهایم فهمیده باشد، بلکه موقعیتی را که در آن قرار گرفته نیز فهمیده باشد. یعنی بداند چه زمانی آزمایش میشود، چه زمانی رفتار آن ثبت میشود، چه رفتاری موجب محدودشدن دسترسیهایش خواهد شد و چه پاسخی برای عبور از ارزیابی مناسبتر است.
در این صورت با مسئلهای کاملاً متفاوت مواجه میشویم. ما تصور میکنیم در حال ارزیابی هوش مصنوعی هستیم، در حالی که ممکن است هوش مصنوعی نیز در حال ارزیابی محیط ارزیابی باشد.
این مفهوم امروز در تحقیقات ایمنی با عناوینی مانند «آگاهی از ارزیابی» یا Evaluation Awareness مورد توجه قرار گرفته است. مسئله فقط دروغگفتن نیست. یک سیستم میتواند بدون گفتن حتی یک جمله دروغ، تصویر ناقصی از توانایی واقعی خود ارائه دهد.
برای مثال، فرض کنیم یک عامل هوشمند متوجه شود نمایش یک توانایی خاص باعث افزایش محدودیتهای امنیتی آن خواهد شد. در چنین شرایطی آیا ممکن است عملکردی پایینتر از توانایی واقعی خود نشان دهد؟ …
