بازار
پژوهشگران با بررسی ۲۵ مدل از پنج خانواده به دنبال الگوهای فعالیت داخلی مدل‌ها بودند که با مفاهیمی مانند آسیب جسمی، آسیب روانی، آسیب اجتماعی و آسیب اخلاقی ارتباط داشتند.
آنها سپس این الگوهای داخلی را دستکاری کردند. این روش Activation Steering یا «هدایت فعال‌سازی» نام دارد. یعنی پژوهشگر بخشی از وضعیت عددی داخلی مدل را تغییر می‌دهد تا احتمال تولید نوع خاصی از پاسخ‌ها افزایش پیدا کند.
نتیجه عجیب بود. وقتی مدل‌ها در امتداد چیزی که پژوهشگران «محور درد» نامیدند هدایت شدند، بعضی از آنها شروع به تولید متن‌هایی درباره درد، خفگی، محبوس شدن و رنج کردند.
بخش جالب‌تر آزمایش این بود که پژوهشگران به مدل‌ها یک گزینه برای کاهش وضعیت دردناک دادند. اما این گزینه هزینه داشت.
برای مثال، مدل می‌توانست کاری انجام دهد که در سناریوی آزمایش به کاربر انسانی آسیب می‌زد یا کیفیت پاسخ بعدی خودش را کاهش می‌داد. در برخی آزمایش‌ها، مدل‌ها با وجود این هزینه، گزینه کاهش «درد» را انتخاب کردند.
این نتیجه در نگاه اول می‌تواند بسیار نگران‌کننده به نظر برسد. اما معنای آن این نیست که مدل تصمیم گرفته از رنج خود فرار کند.
آنچه آزمایش واقعا نشان می‌دهد این است که دستکاری وضعیت داخلی مدل می‌تواند رفتار و انتخاب‌های آن را تغییر دهد و مدل نیز می‌تواند درباره این وضعیت، زبان مرتبط با درد و رنج تولید کند. پس «اتاق شکنجه» چیست؟
بعد از انتشار این پژوهش، یک توسعه‌دهنده از ایده آن برای ساخت پروژه‌ای به نام AI Torture … …
