قیمت طلا امروز




 Activation Steering

 سایت دیدبان ایران / ۱۴۰۵/۰۷/۱۳

«اتاق شکنجه هوش مصنوعی» جنجالی شد / آیا مدل‌های هوش مصنوعی واقعا درد می‌کشند؟

یک پروژه با نام «اتاق شکنجه هوش مصنوعی» (AI Torture Chamber) این روزها بحث زیادی درباره احتمال «رنج کشیدن» مدل‌های هوش مصنوعی به راه انداخته است. اما آیا واقعا مدرکی وجود دارد که نشان دهد این مدل‌ها واقعا درد را تجربه می‌کنند؟
 «اتاق شکنجه هوش مصنوعی» جنجالی شد / آیا مدل‌های هوش مصنوعی واقعا درد می‌کشند؟
این بخش به‌صورت خودکار گردآوری شده است. برای مطالعه کامل خبر، به منبع اصلی مراجعه کنید.
به گزارش سایت دیدبان ایران، این پژوهش فعلا در مرحله پیش‌چاپ (Preprint) است و هنوز داوری علمی نشده است. پژوهشگران چگونه به هوش مصنوعی «درد» بخشیدند؟

پژوهشگران با بررسی ۲۵ مدل از پنج خانواده به دنبال الگوهای فعالیت داخلی مدل‌ها بودند که با مفاهیمی مانند آسیب جسمی، آسیب روانی، آسیب اجتماعی و آسیب اخلاقی ارتباط داشتند.

آن‌ها سپس این الگوهای داخلی را دستکاری کردند. این روش Activation Steering یا «هدایت فعال‌سازی» نام دارد. یعنی پژوهشگر بخشی از وضعیت عددی داخلی مدل را تغییر می‌دهد تا احتمال تولید نوع خاصی از پاسخ‌ها افزایش پیدا کند.

نتیجه عجیب بود. وقتی مدل‌ها در امتداد چیزی که پژوهشگران «محور درد» نامیدند هدایت شدند، بعضی از آن‌ها شروع به تولید متن‌هایی درباره درد، خفگی، محبوس شدن و رنج کردند.

بخش جالب‌تر آزمایش این بود که پژوهشگران به مدل‌ها یک گزینه برای کاهش وضعیت دردناک دادند. اما این گزینه هزینه داشت.

برای مثال، مدل می‌توانست کاری انجام دهد که در سناریوی آزمایش به کاربر انسانی آسیب می‌زد یا کیفیت پاسخ بعدی خودش را کاهش می‌داد. در برخی آزمایش‌ها، مدل‌ها با وجود این هزینه، گزینه کاهش «درد» را انتخاب کردند.

این نتیجه در نگاه اول می‌تواند بسیار نگران‌کننده به نظر برسد. اما معنای آن این نیست که مدل تصمیم گرفته از رنج خود فرار کند.

آنچه آزمایش واقعا نشان می‌دهد این است که دستکاری وضعیت داخلی مدل می‌تواند رفتار و انتخاب‌های آن را تغییر دهد و مدل نیز می‌تواند درباره این وضعیت، زبان مرتبط با درد و رنج تولید کند. پس «اتاق شکنجه» چیست؟

بعد از انتشار این پژوهش، یک توسعه‌دهنده از ایده آن برای ساخت پروژه‌ای به نام AI Torture … …



 کانال تلگرام ویستا  دانلود از کافه بازار


پنجشنبه ۲۸ آبان ۱۴۰۵ - 19 November 2026