فرشتهٔ نگهبان: پیشنهاد گورن برای LLMهای کاملاً شخصی
هوش مصنوعیخلاصهٔ کامل‌تر
گورن تو مقالهٔ «فرشتگان نگهبان» یه سؤال ساده رو نقطهٔ شروع می‌گیره: تو سال ۲۰۳۰، وقتی خیلی از پیش‌بینی‌ها از هوش مصنوعی فراانسانی حرف می‌زنن، کار روزمرهٔ یه پژوهشگر یا نویسنده یا برنامه‌نویس دقیقاً چیه؟ به گفتهٔ نویسنده، فعلاً هیچ تصویر منسجمی از این وجود نداره و «امیدواری» جای برنامه رو گرفته.
نقد اصلی‌ش به اقتصاد ماجراست. می‌گه شخصیت چت‌بات‌ها با تو هم‌راستا نیست، با صاحبش هم‌راستاست؛ و جایزهٔ بزرگ صنعت هم تو بهره‌ورتر کردن کارگر فعلی نیست، تو حذف اونه. با قانون امدال استدلال می‌کنه تا وقتی یه انسان کند تو حلقه باشه، کل سیستم نمی‌تونه خیلی سریع‌تر بشه؛ پس یه برنامه‌نویس که ۱۰ نمونهٔ مدل رو مدیریت می‌کنه، هیچ‌وقت به‌اندازهٔ ۱۰ هزار نمونهٔ کاملاً خودگردان ارزش نداره.
بعد پنج مشکل مشخص چت‌بات‌ها رو ردیف می‌کنه. اول mode collapse: به گفتهٔ نویسنده، پست‌ترینینگ و به‌ویژه RLHF شخصیت «مفید، بی‌آزار، صادق» رو طوری تو مدل سیم‌کشی می‌کنه که خلاقیت قربانی میشه و مدل برای میانگین سلیقهٔ آدم‌ها بهینه میشه، نه سلیقهٔ تو. دوم تنبلی: مدل برای کاری که پاداش قابل‌سنجش نداره کمترین تلاش رو می‌کنه و موقع اصلاح هم کمترین تغییر ممکن رو می‌ده.
سوم شکنندگی: پنجرهٔ کانتکست هرچقدر هم بزرگ بشه، برای رمزگذاری یه عمر خاطره و متن کافی نیست و RAG هم فقط یه چسب زخمه، چون با «مجهولات ناشناخته» و چیزهایی که به‌سادگی قابل جستجو نیستن کنار نمیاد. نویسنده self-attention رو نه یادگیری یه جواب تازه، بلکه «پیداکردن» جوابی از پیش حل‌شده تو توزیع پیش‌ترینینگ می‌دونه — برای همین اگه مسئله بیرون اون توزیع باشه، هیچ حجمی از مثال نجاتت نمی‌ده.
چهارم شخصیت «بیش‌ازحد یاری‌رسان» که خودش یه ضعف امنیتیه: چت‌بات نمی‌دونه کی داره صداش می‌کنه و فقط کانتکست رو می‌بینه، پس هر توکنی به‌اندازهٔ توکن دیگه معتبره و همین پایهٔ حملات پرامپته. پنجم فراموشی: اصلاحی که تو انجام می‌دی به وزن‌های منجمد برنمی‌گرده، پس یه ساعت وقت گذاشتن برای تصحیح مدل عملاً دور ریختن اون ساعته.
پیشنهاد جایگزین اینه: به‌جای «ایجنت دستیار»، یه دوقلوی دیجیتال که شخصیت، ارزش‌ها و ترجیحات یه کاربر خاص رو تقلید می‌کنه. به گفتهٔ نویسنده این کار مسئلهٔ کارفرما-کارگزار رو تا حد زیادی حل می‌کنه، چون کارفرما و کارگزار یکی می‌شن؛ نقش آدم می‌ره سمت تصمیم دربارهٔ «چه چیزی ارزش انجام‌دادن داره»، شبیه هیئت‌مدیرهٔ یه شرکتِ ایجنت‌ها.
ادعای امنیتی‌ش هم همینه: چون مدل به یک کاربر مشخص و موقعیت‌مندش گره خورده، اطاعت از پرامپت مهاجم براش بی‌معنی میشه و مسئلهٔ «معاون گیج» کمتر پیش میاد. کاربردش رو غربال کردن پیام‌ها در برابر حمله‌های پیشرفته می‌بینه — از اکوسیستم‌های رسانهٔ مصنوعی برای تبلیغات سیاسی تا فیشینگ هدفمند. تأکید می‌کنه این هم‌ترازی کلی هوش مصنوعی رو حل نمی‌کنه، فقط یه لایه از دفاع در عمقِ سطح جامعه‌ست.
از نظر فنی، نویسنده می‌گه پرامپت‌نویسی روی مدل منجمد چنین چیزی نمی‌سازه. بستهٔ پیشنهادی‌ش اینه: یادگیری آنلاین با ارزیابی پویا برای به‌روز موندن وزن‌ها، مدل‌های بزرگِ ترجیح‌محور برای کارایی نمونه، یادگیری فعال با پرسیدن مستقیم از کاربر، و یه رابط محلی و ترمینال-محور. چارچوب نظری‌ش CIRL ـه: تنظیمی که چون کارگزار سر هر خطا جواب درست رو می‌گیره، خیلی سریع‌تر از RL معمولی یاد می‌گیره. به گفتهٔ نویسنده این کار می‌تونه متن‌باز پیش بره، ولی نیاز امنیتی بالاش احتمالاً مدل استارتاپی رو منطقی‌تر می‌کنه.
نکات کلیدی:
- ایدهٔ مرکزی: LLMی که به‌جای شخصیت دستیار، شخصیت و ارزش‌های خود کاربر رو تقلید کنه
- انگیزهٔ اقتصادی: چت‌بات‌ها برای جایگزینی کاربر بهینه شدن، نه تقویت اون
- پنج ایراد فعلی: فروپاشی خلاقیت، تنبلی، محدودیت کانتکست، آسیب‌پذیری به پرامپت و ناتوانی در یادگیری دائمی
- ادعای امنیتی: مدلی که به یک کاربر مشخص گره خورده، در برابر حملهٔ پرامپت مقاوم‌تره
- ابزارها: یادگیری آنلاین، ارزیابی پویا، یادگیری فعال و چارچوب CIRL به‌جای RL معمولی
