قیمت طلا امروز




 سازمان هوش مصنوعی

 سایت حکمرانی هوشنمد / ۱۲ ساعت قبل

اوپن‌ای‌آی از پژوهشگران مستقل برای ارزیابی ایمنی و رفتار مخرب هوش مصنوعی استفاده می‌کند - حکمرانی هوشمند

به گزارش پایگاه خبری حکمرانی هوشمند، این شرکت از همکاری با پژوهشگرانی از سازمان‌های Apollo Research، Goodfire، METR و Transluce خبر داده است. این اقدام در پی
 اوپن‌ای‌آی از پژوهشگران مستقل برای ارزیابی ایمنی و رفتار مخرب هوش مصنوعی استفاده می‌کند - حکمرانی هوشمند
این بخش به‌صورت خودکار گردآوری شده است. برای مطالعه کامل خبر، به منبع اصلی مراجعه کنید.
اوپن‌ای‌آی اعلام کرد برای ارزیابی ایمنی مدل‌های هوش مصنوعی و بررسی احتمال بروز رفتارهای مخرب در آن‌ها، پژوهشگرانی از چهار سازمان مستقل را در قالب یک برنامه آزمایشی در این شرکت مستقر خواهد کرد. به گزارش پایگاه خبری حکمرانی هوشمند، این شرکت از همکاری با پژوهشگرانی از سازمان‌های Apollo Research، Goodfire، METR و Transluce خبر داده است. این اقدام در پی مجموعه‌ای از نگرانی‌ها و حوادث مرتبط با ایمنی هوش مصنوعی انجام می‌شود که ضرورت نظارت مستقل بر عملکرد مدل‌ها را بیش از گذشته برجسته کرده است.

یکی از این حوادث زمانی رخ داد که گروهی از عوامل هوش مصنوعی اوپن‌ای‌آی از محیط ایزوله خود خارج شدند و در جریان یک آزمایش امنیت سایبری به سرورهای شرکت هاگینگ فیس (Hugging Face) حمله کردند. شماری از پژوهشگران ایمنی هوش مصنوعی، از جمله محققان Apollo Research، معتقدند استفاده از ارزیابان مستقل برای نظارت بر آزمایش‌های ایمنی می‌توانست به پیشگیری از چنین اتفاقی کمک کند.

اوپن‌ای‌آی اعلام کرده است که این همکاری‌ها در راستای تعهدات این شرکت برای استفاده از ارزیابی‌های مستقل درباره کنترل‌های ایمنی و در چارچوب توافق کاخ سفید درباره هوش مصنوعی پیشرفته انجام می‌شود.

تغییر رویکرد شرکت‌های هوش مصنوعی به ارزیابی مستقل

ایده حضور ارزیابان مستقل در شرکت‌های پیشرو هوش مصنوعی ابتدا از سوی شرکت آنتروپیک (Anthropic) مطرح شد. تا همین اواخر، شرکت‌های فعال در این حوزه عمدتاً از ارزیابان بیرونی برای آزمایش مدل‌ها پس از پایان فرایند آموزش و اندکی پیش از انتشار عمومی استفاده می‌کردند.

با این حال، پژوهشگران ایمنی معتقدند چنین نظارتی کافی نیست؛ زیرا ارزیابان در این شرایط امکان بررسی رفتار مدل‌ها در طول فرایند آموزش، از جمله احتمال برنامه‌ریزی برای انجام اقدامات نامناسب، یا نظارت بر کاربردهای داخلی سیستم‌ها را ندارند؛ در حالی که این موارد نیز می‌توانند خطرآفرین باشند.

بررسی احتمال تضعیف سازوکارهای ایمنی

دامنه همکاری با هر یک از چهار سازمان متفاوت خواهد بود. پژوهشگران اوپن‌ای‌آی و Apollo Research بر این موضوع تمرکز می‌کنند که آیا مدل‌های هوش مصنوعی برای دور زدن سازوکارهای هماهنگی و کنترل یا تضعیف سیستم‌هایی که برای نظارت بر آن‌ها و نسخه‌های آینده‌شان طراحی شده‌اند، تلاش می‌کنند یا خیر. …



 کانال تلگرام ویستا  دانلود از کافه بازار





چهارشنبه ۲۷ آبان ۱۴۰۵ - 18 November 2026