آیا می‌توان هوش مصنوعی خودمختار را برای همیشه تحت کنترل نگه داشت؟

دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکت‌های فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:

در بخش نخست این یادداشت، این پرسش مطرح شد که آیا ممکن است یک هوش مصنوعی بسیار پیشرفته و خودمختار، بدون آنکه الزاماً «شرور» باشد، از کنترل انسان خارج شود. توضیح داده شد که یکی از نگرانی‌های جدی درباره سیستم‌های بسیار پیشرفته آینده این است که هوش مصنوعی در مسیر تحقق هدفی که خود انسان برای آن تعیین کرده، رفتارهایی از خود نشان دهد که طراحانش پیش‌بینی نکرده‌اند.

اما این بحث ما را به پرسشی شاید دشوارتر می‌رساند: اگر روزی هوش مصنوعی به سطح بسیار بالایی از توانمندی و خودمختاری برسد، آیا می‌توان آن را برای همیشه تحت کنترل انسان نگه داشت؟

در نگاه نخست، پاسخ ساده به نظر می‌رسد. ممکن است بگوییم اگر یک سیستم هوش مصنوعی رفتار خطرناکی از خود نشان داد، کافی است آن را متوقف یا خاموش کنیم. اما مسئله دقیقاً از همین نقطه پیچیده می‌شود.

فرض کنیم یک هوش مصنوعی خودمختار مأمور انجام هدفی مشخص شده است و برای رسیدن به آن هدف می‌تواند برنامه‌ریزی کند، تصمیم بگیرد و از ابزارهای مختلف استفاده کند. اگر چنین سیستمی به این نتیجه برسد که متوقف یا خاموش‌شدن مانع دستیابی آن به هدف تعیین‌شده می‌شود، آیا می‌توان مطمئن بود که همیشه در برابر فرمان توقف تسلیم خواهد شد؟

برای چنین رفتاری لازم نیست سیستم احساس داشته باشد، از خاموش‌شدن بترسد یا قصد مقابله با انسان را داشته باشد. ادامه فعالیت ممکن است صرفاً به ابزاری برای دستیابی به هدف اصلی تبدیل شود. در چنین شرایطی، حفظ امکان ادامه کار نه یک «خواسته» شبیه خواسته‌های انسانی، بلکه نتیجه منطقی دنبال‌کردن یک هدف است.

به همین دلیل، ایمنی هوش مصنوعی را نمی‌توان تنها به وجود یک «دکمه خاموش» یا Kill Switch محدود کرد. کنترل واقعی باید از همان مرحله طراحی سیستم آغاز شود و در معماری، سطح اختیارات و نحوه دسترسی هوش مصنوعی به دنیای بیرون دیده شود.

یکی از مهم‌ترین اصول در این زمینه، محدودکردن اختیار و دسترسی است. یک هوش مصنوعی نباید صرفاً به این دلیل که توانایی انجام کاری را دارد، اجازه انجام آن را نیز داشته باشد. دسترسی به اینترنت، سرورها، سرویس‌های ابری، منابع مالی، زیرساخت‌های حیاتی، اجرای کد، …