یکی از این حوادث زمانی رخ داد که گروهی از عوامل هوش مصنوعی اوپنایآی از محیط ایزوله خود خارج شدند و در جریان یک آزمایش امنیت سایبری به سرورهای شرکت هاگینگ فیس (Hugging Face) حمله کردند. شماری از پژوهشگران ایمنی هوش مصنوعی، از جمله محققان Apollo Research، معتقدند استفاده از ارزیابان مستقل برای نظارت بر آزمایشهای ایمنی میتوانست به پیشگیری از چنین اتفاقی کمک کند.
اوپنایآی اعلام کرده است که این همکاریها در راستای تعهدات این شرکت برای استفاده از ارزیابیهای مستقل درباره کنترلهای ایمنی و در چارچوب توافق کاخ سفید درباره هوش مصنوعی پیشرفته انجام میشود.
تغییر رویکرد شرکتهای هوش مصنوعی به ارزیابی مستقل
ایده حضور ارزیابان مستقل در شرکتهای پیشرو هوش مصنوعی ابتدا از سوی شرکت آنتروپیک (Anthropic) مطرح شد. تا همین اواخر، شرکتهای فعال در این حوزه عمدتاً از ارزیابان بیرونی برای آزمایش مدلها پس از پایان فرایند آموزش و اندکی پیش از انتشار عمومی استفاده میکردند.
با این حال، پژوهشگران ایمنی معتقدند چنین نظارتی کافی نیست؛ زیرا ارزیابان در این شرایط امکان بررسی رفتار مدلها در طول فرایند آموزش، از جمله احتمال برنامهریزی برای انجام اقدامات نامناسب، یا نظارت بر کاربردهای داخلی سیستمها را ندارند؛ در حالی که این موارد نیز میتوانند خطرآفرین باشند.
بررسی احتمال تضعیف سازوکارهای ایمنی
دامنه همکاری با هر یک از چهار سازمان متفاوت خواهد بود. پژوهشگران اوپنایآی و Apollo Research بر این موضوع تمرکز میکنند که آیا مدلهای هوش مصنوعی برای دور زدن سازوکارهای هماهنگی و کنترل یا تضعیف سیستمهایی که برای نظارت بر آنها و نسخههای آیندهشان طراحی شدهاند، تلاش میکنند یا خیر. …


دانلود از کافه بازار
































































































































































