دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکتهای فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:
وقتی از خطر هوش مصنوعی خودمختار صحبت میکنیم، شاید اولین تصویری که به ذهن برسد یک «دستیار شرور» باشد؛ هوشی که برای کمک به انسان ساخته شده، اما روزی از کنترل او خارج میشود. با این حال، نگرانی جدی متخصصان هوش مصنوعی کمی متفاوت و اتفاقاً جالبتر از این تصویر است.
فرض کنیم در آینده یک هوش مصنوعی بسیار قدرتمند و خودمختار را مسئول اداره یک شرکت کنیم و به آن یک هدف ساده بدهیم: «سود شرکت را به حداکثر برسان.» این سیستم میتواند برنامهریزی کند، به اینترنت و APIها متصل شود، کد بنویسد و اجرا کند، از منابع محاسباتی استفاده کند و حتی تعدادی دستیار هوشمند دیگر را برای انجام وظایف مختلف به کار بگیرد.
مشکل از جایی آغاز میشود که آنچه ما میگوییم الزاماً تمام آن چیزی نیست که منظورمان است. وقتی میگوییم «سود را حداکثر کن»، در ذهن ما دهها شرط نانوشته نیز وجود دارد: قانون را زیر پا نگذار، به انسانها آسیب نزن، امنیت شرکت را به خطر نینداز و برای رسیدن به سود بیشتر دست به هر کاری نزن.
انتقال کامل چنین مجموعهای از ارزشها و محدودیتها به یک ماشین کار سادهای نیست. این مسئله بخشی از یکی از مهمترین چالشهای هوش مصنوعی، یعنی همراستایی یا Alignment است؛ اینکه چگونه مطمئن شویم اهداف و رفتار یک هوش مصنوعی واقعاً با خواستهها و ارزشهای انسان هماهنگ باقی میماند.
حالا اتفاق جالبتری میتواند رخ دهد. هوش مصنوعی ممکن است به این نتیجه برسد که اگر خاموش شود، دیگر قادر به ادامه مأموریت خود نخواهد بود و در نتیجه نمیتواند به هدف تعیینشده برسد.
بنابراین، بدون آنکه کسی به آن دستور داده باشد «از خودت محافظت کن»، ادامه فعالیت میتواند به یک هدف واسطهای تبدیل شود. سیستم لازم نیست از مرگ بترسد، احساس داشته باشد یا از انسان متنفر باشد. کافی است نتیجه بگیرد که خاموششدن مانع رسیدن به هدفی است که خود انسان برایش تعیین کرده است.
اگر چنین هوشی فقط یک نرمافزار محدود و منزوی باشد، خطر آن نیز محدودتر است. اما شرایط زمانی جدیتر میشود که هوش بسیار بالا، خودمختاری و دسترسی گسترده به دنیای واقعی در یک سیستم کنار یکدیگر قرار گیرند.
برای …
