دیپ‌مایند رویکرد جدیدی برای جلوگیری از نفوذ هکرها به هوش مصنوعی معرفی کرد

حمله تزریق پرامپت زمانی اتفاق می‌افتد که سیستم‌های هوش مصنوعی نتوانند بین دستورات کاربر قانونی و دستورالعمل‌های مخرب پنهان در محتوایی که پردازش می‌کنند تمایز قائل شوند. درواقع پاشنه آشیل مدل‌ها این است که درخواست‌های کاربر همراه با متن مخرب درون ایمیل‌ها، صفحات وب یا منابع دیگر در یک سلسله توکن به هم متصل می‌شوند. هنگامی که این اتفاق می‌افتد، مدل هوش مصنوعی همه چیز را به عنوان یک واحد در حافظه‌ای کوتاه مدت به نام «پنجره زمینه» پردازش می‌کند و نمی‌تواند بین آنچه که باید به آن اعتماد کند و آنچه نباید، …