به گزارش خبرنگار مهر، همزمان با رشد فراگیر فناوری هوش مصنوعی در کشور و نفوذ آن به زیرساختهای حیاتی، بحث امنیت و تابآوری مدلهای زبانی به چالشی راهبردی برای سازمانها تبدیل شده است. در همین راستا، جمعی از دانشآموزان نخبه و سمپادی کشور با طراحی پلتفرم «هفتخوان»، راهکاری بومی و مبتنی بر بازیسازی برای ارزیابی و تقویت امنیت مدلهای زبانی بزرگ (LLM) ارائه کردهاند که تلاش دارد با پر کردن شکافهای موجود، فضایی امن و تعاملی را برای تست نفوذ و آموزش تخصصی فراهم کند.
«هفتخوان»؛ معماری نوین برای کالبدشکافی امنیت هوش مصنوعی
طاها الهیبخش دانش پژوه المپیاد هوش مصنوعی و عضو تیم استارتاپی «هفتخوان» در گفتوگو با خبرنگار ما درباره ماهیت این پلتفرم توضیح داد و گفت: تیم ما متشکل از دانشآموزان پایه یازدهم رشته نرمافزار در دبیرستان علامه حلی است که پروژهای را در حوزه امنیت مدلهای زبانی تعریف کردهاند. پلتفرم آموزشی «هفتخوان»، بستری امن برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ است که کاربران را در قالب یک مسیر داستانی هفتمرحلهای، با الهام از هفتخوان رستم، با چالشهای امنیتی این حوزه آشنا میکند.
وی افزود: برخلاف نمونههای جهانی که عمدتاً فاقد روایتپردازی فرهنگی هستند، ما در این پلتفرم با ادغام داستانسرایی الهامگرفته از شاهنامه و مکانیزمهای پیشرفته بازی سازی، یادگیری امنیت هوش مصنوعی را از فرآیندی تئوریک و خشک به یک ماجراجویی تعاملی و ماندگار تبدیل کردهایم.
شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها
این عضو تیم استارتاپی مسیر هفت خوان در این پلتفرم را تشریح کرد و گفت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدل های چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنیسازی پایگاه داده حملات کمک میکند.
پدافند سایبری در عصر مدلهای زبانی؛ گذار از تئوری به سناریوهای عملیاتی
الهیبخش در تشریح ضرورت شکلگیری این پلتفرم اظهار داشت: طی …
