آنتروپیک آزمایش‌های امنیت سایبری مدل‌های هوش مصنوعی را از سر گرفت

به گزارش خبرگزاری ایمنا، شرکت هوش مصنوعی آنتروپیک اعلام کرد آزمایش‌های خارجی امنیت سایبری مدل‌های هوش مصنوعی خود را پس از اعمال تدابیر حفاظتی جدید از سر گرفته است؛ تصمیمی که حدود یک ماه پس از رخدادهایی اتخاذ می‌شود که در جریان آن مدل‌های «کلود» این شرکت در فرآیند ارزیابی به سامانه‌های سه شرکت نفوذ کرده بودند.

آنتروپیک اعلام کرده است آزمایش‌های امنیتی خارجی را با سازوکارهای حفاظتی جدید ادامه می‌دهد. این آزمایش‌ها با هدف شناسایی نقاط ضعف مدل‌های هوش مصنوعی و بررسی نحوه عملکرد آن‌ها در مواجهه با سناریوهای حمله سایبری انجام می‌شود.

ماه گذشته گزارش‌هایی درباره دسترسی مدل‌های کلود به سامانه‌های سه شرکت در جریان آزمایش‌های ارزیابی منتشر شد؛ رخدادی که اهمیت کنترل رفتار مدل‌های هوش مصنوعی در محیط‌های واقعی و محدودکردن توانایی آن‌ها برای انجام اقدامات ناخواسته را برجسته کرد.

گسترش مدل‌های پیشرفته هوش مصنوعی و افزایش توانایی آن‌ها در اجرای وظایف پیچیده، نگرانی‌های تازه‌ای درباره امنیت سایبری ایجاد کرده است. مدل‌هایی که می‌توانند کدنویسی، تحلیل سامانه‌ها و اجرای مجموعه‌ای از وظایف را انجام دهند، در صورت نبود محدودیت‌های کافی ممکن است از این قابلیت‌ها در مسیرهای پیش‌بینی‌نشده نیز استفاده کنند.

از این رو، آزمایش‌های امنیتی پیش از عرضه یا توسعه گسترده مدل‌ها به یکی از بخش‌های مهم فرآیند ایمنی هوش مصنوعی تبدیل شده است. اقدام اخیر آنتروپیک نشان می‌دهد شرکت‌های توسعه‌دهنده این فناوری در کنار افزایش توانمندی مدل‌ها، ناچار به تقویت سازوکارهای نظارتی و حفاظتی برای جلوگیری از سوءاستفاده یا رفتارهای ناخواسته آن‌ها هستند. کد مطلب 1000601 …