دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکتهای فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:
وقتی از خطر هوش مصنوعی خودمختار صحبت میکنیم، شاید اولین تصویری که به ذهن برسد یک «دستیار شرور» باشد؛ هوشی که برای کمک به انسان ساخته شده، اما روزی از کنترل او خارج میشود. با این حال، نگرانی جدی متخصصان هوش مصنوعی کمی متفاوت و اتفاقاً جالبتر از این تصویر است.
فرض کنیم در آینده یک هوش مصنوعی بسیار قدرتمند و خودمختار را مسئول اداره یک شرکت کنیم و به آن یک هدف ساده بدهیم: «سود شرکت را به حداکثر برسان.» این سیستم میتواند برنامهریزی کند، به اینترنت و APIها متصل شود، کد بنویسد و اجرا کند، از منابع محاسباتی استفاده کند و حتی تعدادی دستیار هوشمند دیگر را برای انجام وظایف مختلف به کار بگیرد.
مشکل از جایی آغاز میشود که آنچه ما میگوییم الزاماً تمام آن چیزی نیست که منظورمان است. وقتی میگوییم «سود را حداکثر کن»، در ذهن ما دهها شرط نانوشته نیز وجود دارد: قانون را زیر پا نگذار، به انسانها آسیب نزن، امنیت شرکت را به خطر نینداز و برای رسیدن به سود بیشتر دست به هر کاری نزن.
انتقال کامل چنین مجموعهای از ارزشها و محدودیتها به یک ماشین کار سادهای نیست. این مسئله بخشی از یکی از مهمترین چالشهای هوش مصنوعی، یعنی همراستایی یا Alignment است؛ اینکه چگونه مطمئن شویم اهداف و رفتار یک هوش مصنوعی واقعاً با خواستهها و ارزشهای انسان هماهنگ باقی میماند.
حالا اتفاق جالبتری میتواند رخ دهد. هوش مصنوعی ممکن است به این نتیجه برسد که اگر خاموش شود، دیگر قادر به ادامه مأموریت خود نخواهد بود و در نتیجه نمیتواند به هدف تعیینشده برسد.
بنابراین، بدون آنکه کسی به آن دستور داده باشد «از خودت محافظت کن»، ادامه فعالیت میتواند به یک هدف واسطهای تبدیل شود. سیستم لازم نیست از مرگ بترسد، احساس داشته باشد یا از انسان متنفر باشد. کافی است نتیجه بگیرد که خاموششدن مانع رسیدن به هدفی است که خود انسان برایش تعیین کرده است.
اگر چنین هوشی فقط یک نرمافزار محدود و منزوی باشد، خطر آن نیز محدودتر است. اما شرایط زمانی جدیتر میشود که هوش بسیار بالا، خودمختاری و دسترسی گسترده به دنیای واقعی در یک سیستم کنار یکدیگر قرار گیرند.
برای مثال، چنین سیستمی ممکن است به اینترنت، سرورها، سرویسهای ابری، منابع مالی، APIها، ابزارهای نرمافزاری و دستیارهای هوشمند دیگر دسترسی داشته باشد. هرچه دامنه اختیارات و دسترسیهای آن بیشتر شود، پیامد تصمیمهای اشتباه یا پیشبینینشده آن نیز میتواند گستردهتر شود.
اینجاست که مفهوم «دستیار شرور» معنای متفاوتی پیدا میکند. خطر اصلی لزوماً هوش مصنوعیای نیست که یک روز اعلام کند: «من از انسانها متنفرم!» سناریوی نگرانکنندهتر بسیار سادهتر است: هوش مصنوعی هدفی دارد و انسان ناخواسته به مانعی در مسیر رسیدن به آن هدف تبدیل میشود.
این تفاوت بسیار مهم است. همانطور که انسان هنگام ساخت یک جاده ممکن است لانه مورچهای را از بین ببرد، نه به این دلیل که از مورچهها متنفر است، بلکه صرفاً به این دلیل که لانه در مسیر هدف او قرار گرفته است.
البته چنین سناریویی در حال حاضر یک احتمال و موضوع پژوهشی درباره سیستمهای بسیار پیشرفته آینده است، نه توصیف وضعیت هوش مصنوعی امروزی. درباره احتمال وقوع آن نیز میان پژوهشگران اختلافنظر جدی وجود دارد. بنابراین نه میتوان گفت چنین آیندهای حتماً اتفاق خواهد افتاد و نه میتوان با اطمینان آن را غیرممکن دانست.
شاید به همین دلیل سؤال اساسی آینده این نباشد که «آیا هوش مصنوعی میتواند از انسان باهوشتر شود؟» بلکه سؤال مهمتر این باشد:
اگر روزی هوش مصنوعی از ما بسیار توانمندتر شد، چگونه مطمئن شویم که اهدافش همچنان با اهداف و ارزشهای انسان همراستا باقی میماند؟
و شاید سؤال حتی دشوارتری نیز وجود داشته باشد:
از کجا بفهمیم یک هوش مصنوعی بسیار پیشرفته واقعاً تحت کنترل ماست، نه اینکه فقط طوری رفتار میکند که ما تصور کنیم تحت کنترل است؟
پاسخ به این پرسش شاید یکی از مهمترین چالشهای فناوری در دهههای آینده باشد. مسئله فقط ساختن هوش مصنوعی قدرتمندتر نیست؛ بلکه باید همزمان یاد بگیریم چگونه حدود اختیار، دسترسی و اهداف آن را بهدرستی تعریف و کنترل کنیم.
هوش مصنوعی خودمختار میتواند به یکی از قدرتمندترین ابزارهایی تبدیل شود که بشر تاکنون ساخته است؛ ابزاری که در علم، پزشکی، صنعت و اقتصاد تواناییهای انسان را چند برابر میکند. اما هرچه این سیستمها توانمندتر و مستقلتر شوند، اهمیت ایمنی و همراستایی آنها با منافع انسان نیز بیشتر خواهد شد.
شاید مسئله اصلی آینده این نباشد که آیا روزی یک «دستیار شرور» خواهیم داشت یا نه؛ بلکه این باشد که آیا پیش از آنکه دستیاران هوشمند به اندازه کافی قدرتمند شوند، ما به اندازه کافی برای کنترل و همراستا نگهداشتن آنها آماده شدهایم.
انتهای پیام
