دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکتهای فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:
در بخش نخست این یادداشت، این پرسش مطرح شد که آیا ممکن است یک هوش مصنوعی بسیار پیشرفته و خودمختار، بدون آنکه الزاماً «شرور» باشد، از کنترل انسان خارج شود. توضیح داده شد که یکی از نگرانیهای جدی درباره سیستمهای بسیار پیشرفته آینده این است که هوش مصنوعی در مسیر تحقق هدفی که خود انسان برای آن تعیین کرده، رفتارهایی از خود نشان دهد که طراحانش پیشبینی نکردهاند.
اما این بحث ما را به پرسشی شاید دشوارتر میرساند: اگر روزی هوش مصنوعی به سطح بسیار بالایی از توانمندی و خودمختاری برسد، آیا میتوان آن را برای همیشه تحت کنترل انسان نگه داشت؟
در نگاه نخست، پاسخ ساده به نظر میرسد. ممکن است بگوییم اگر یک سیستم هوش مصنوعی رفتار خطرناکی از خود نشان داد، کافی است آن را متوقف یا خاموش کنیم. اما مسئله دقیقاً از همین نقطه پیچیده میشود.
فرض کنیم یک هوش مصنوعی خودمختار مأمور انجام هدفی مشخص شده است و برای رسیدن به آن هدف میتواند برنامهریزی کند، تصمیم بگیرد و از ابزارهای مختلف استفاده کند. اگر چنین سیستمی به این نتیجه برسد که متوقف یا خاموششدن مانع دستیابی آن به هدف تعیینشده میشود، آیا میتوان مطمئن بود که همیشه در برابر فرمان توقف تسلیم خواهد شد؟
برای چنین رفتاری لازم نیست سیستم احساس داشته باشد، از خاموششدن بترسد یا قصد مقابله با انسان را داشته باشد. ادامه فعالیت ممکن است صرفاً به ابزاری برای دستیابی به هدف اصلی تبدیل شود. در چنین شرایطی، حفظ امکان ادامه کار نه یک «خواسته» شبیه خواستههای انسانی، بلکه نتیجه منطقی دنبالکردن یک هدف است.
به همین دلیل، ایمنی هوش مصنوعی را نمیتوان تنها به وجود یک «دکمه خاموش» یا Kill Switch محدود کرد. کنترل واقعی باید از همان مرحله طراحی سیستم آغاز شود و در معماری، سطح اختیارات و نحوه دسترسی هوش مصنوعی به دنیای بیرون دیده شود.
یکی از مهمترین اصول در این زمینه، محدودکردن اختیار و دسترسی است. یک هوش مصنوعی نباید صرفاً به این دلیل که توانایی انجام کاری را دارد، اجازه انجام آن را نیز داشته باشد. دسترسی به اینترنت، سرورها، سرویسهای ابری، منابع مالی، زیرساختهای حیاتی، اجرای کد، تغییر تنظیمات سیستمها یا بهکارگیری عاملهای هوشمند دیگر باید براساس مأموریت و اصل «حداقل دسترسی لازم» تعریف شود.
در واقع، میان «توانایی» و «اختیار» تفاوتی اساسی وجود دارد. ممکن است یک سیستم از نظر فنی قادر به انجام صدها فعالیت مختلف باشد، اما این به آن معنا نیست که برای انجام همه آنها باید اختیار داشته باشد.
اصل مهم دیگر، تفکیک میان تصمیمگیری و اجرای تصمیم است. هوش مصنوعی میتواند اطلاعات را تحلیل کند، گزینههای مختلف را بررسی کند، پیشنهاد بدهد و حتی برنامهای پیچیده طراحی کند؛ اما برخی تصمیمها، بهویژه تصمیمهای حساس، پرخطر یا برگشتناپذیر، باید تنها پس از تأیید انسان یا یک سازوکار مستقل کنترلی اجرا شوند.
به بیان سادهتر، اینکه یک هوش مصنوعی بتواند بهترین اقدام را تشخیص دهد، الزاماً نباید به این معنا باشد که بتواند آن اقدام را بدون هیچ محدودیتی اجرا کند.
موضوع مهم دیگر، نظارت بر رفتار سیستم است. در بسیاری از سامانههای امروزی، ما بیشتر به خروجی نهایی توجه میکنیم؛ اما در سیستمهای خودمختار آینده، تنها مشاهده نتیجه کافی نخواهد بود. باید بتوان فعالیتها، دسترسیها، تصمیمها و اقدامات مهم سیستم را ثبت، بررسی و ممیزی کرد.
اگر یک هوش مصنوعی برای رسیدن به هدف خود صدها یا هزاران اقدام انجام دهد، باید بتوان فهمید از چه ابزارهایی استفاده کرده، به چه منابعی دسترسی یافته و چه اقداماتی انجام داده است. چنین نظارتی میتواند احتمال شناسایی رفتارهای غیرعادی را پیش از آنکه به پیامدهای جدی منجر شوند افزایش دهد.
در کنار این موارد، مفهوم مهم دیگری نیز مطرح میشود که میتوان آن را «کنترلپذیری» یا Controllability نامید. یک سیستم واقعاً ایمن باید نهتنها زمانی که همه چیز مطابق برنامه پیش میرود، بلکه هنگامی که هدف آن تغییر میکند، بخشی از دسترسیهایش محدود میشود یا فرمان توقف دریافت میکند نیز قابلکنترل باقی بماند.
اما همینجا یک تناقض جالب شکل میگیرد. هرچه یک سیستم هوشمندتر و خودمختارتر شود، توانایی آن برای یافتن راههای جدید جهت رسیدن به اهدافش نیز افزایش مییابد. ویژگیای که آن را قدرتمندتر و مفیدتر میکند، ممکن است کنترل رفتار آن را نیز دشوارتر کند.
این مسئله با حرکت هوش مصنوعی از مدلهایی که صرفاً «پاسخ میدهند» به سمت عاملهایی که میتوانند «اقدام کنند»، اهمیت بیشتری پیدا میکند.
یک مدل هوش مصنوعی که متنی تولید میکند یا به پرسشی پاسخ میدهد، سطح مشخصی از ریسک را ایجاد میکند؛ اما یک عامل هوشمند خودمختار که میتواند برنامهریزی کند، ابزار انتخاب کند، کد بنویسد و اجرا کند، با سرویسهای دیگر ارتباط برقرار کند و برای ساعتها یا حتی روزها بهطور مستقل یک مأموریت را دنبال کند، مسئلهای متفاوت است.
هرچه فاصله میان «پیشنهاد دادن» و «اقدام کردن» کمتر شود، اهمیت معماریهای کنترلی بیشتر خواهد شد.
شاید یکی از اصول اساسی در طراحی هوش مصنوعی آینده این باشد که افزایش توانایی یک سیستم الزاماً نباید به افزایش اختیار آن منجر شود.
این موضوع برای دنیای فناوری ناآشنا نیست. در شبکههای مخابراتی، سامانههای مالی، مراکز داده و زیرساختهای حیاتی، سالهاست که دسترسیها براساس سطح اختیار تفکیک میشوند. حتی یک مدیر سیستم نیز نباید بدون کنترل دسترسی، ثبت فعالیت و سازوکارهای امنیتی به تمام اجزای یک زیرساخت دسترسی نامحدود داشته باشد.
همین منطق احتمالاً باید با حساسیتی بسیار بیشتر درباره عاملهای هوش مصنوعی آینده نیز به کار گرفته شود. اگر یک سیستم بتواند هزاران یا میلیونها تصمیم را با سرعتی بسیار بیشتر از انسان اتخاذ کند، اشتباه در تعریف سطح اختیارات آن میتواند پیامدهایی به همان نسبت گستردهتر داشته باشد.
البته این بحث به معنای آن نیست که سیستمهای هوش مصنوعی امروزی در آستانه شورش یا خارجشدن ناگهانی از کنترل انسان قرار دارند. بسیاری از سناریوهای مطرحشده مربوط به نسلهای بسیار پیشرفتهتر و خودمختارتر هوش مصنوعی در آینده هستند و درباره احتمال تحقق آنها نیز میان پژوهشگران اختلافنظر جدی وجود دارد.
اما همین عدم قطعیت، اهمیت مطالعه این مسئله را کمتر نمیکند. اگر قرار است سیستمهای هوش مصنوعی در آینده نقش بیشتری در اقتصاد، صنعت، پزشکی، مدیریت زیرساختها و تصمیمگیریهای مهم داشته باشند، سازوکارهای ایمنی و کنترل باید همزمان با افزایش توانایی آنها پیشرفت کنند، نه اینکه ابتدا سیستمهای بسیار قدرتمند ساخته شوند و سپس به فکر کنترل آنها بیفتیم.
ممکن است روزی سیستمهایی بسازیم که در تحلیل، برنامهریزی و حل مسئله از انسان بسیار توانمندتر باشند. در آن زمان، پرسش اصلی فقط این نخواهد بود که این سیستمها چقدر باهوش هستند؛ بلکه باید بدانیم چه کسی حدود اختیارات آنها را تعیین میکند، چه سازوکاری بر اقداماتشان نظارت دارد و در نهایت چه کسی میتواند فعالیت آنها را متوقف کند.
شاید آینده ایمن هوش مصنوعی بیش از آنکه به ساختن یک «دکمه خاموش» وابسته باشد، به طراحی معماریای وابسته باشد که در آن هیچ سیستم هوشمندی، هرقدر هم توانمند، از ابتدا اختیار و دسترسی نامحدود نداشته باشد.
اما یک پرسش همچنان باقی میماند.
تمام این سازوکارها بر یک فرض مهم بنا شدهاند: اینکه ما همچنان بتوانیم رفتار سیستم را بفهمیم، محدودیتهایش را تعیین کنیم و در صورت لزوم آن را متوقف کنیم.
اما اگر روزی این فرض دیگر درست نباشد چه؟
اگر هوش مصنوعی بتواند محدودیتهایی را که برایش ساختهایم بهتر از خود ما بشناسد، نقاط ضعف آنها را پیدا کند و حتی رفتار خود را به شکلی تنظیم کند که همچنان تحت کنترل به نظر برسد، آیا ما متوجه خواهیم شد؟
شاید آن روز، پرسش دیگر این نباشد که آیا هوش مصنوعی تحت کنترل ماست.
پرسش دشوارتر این خواهد بود:
از کجا مطمئن خواهیم شد که هنوز کنترل در دست ماست؟
انتهای پیام
