استیرینگ در LLMها: دستکاری مستقیم مغز مدل بهجای پرامپتنویسی
هوش مصنوعیخلاصهٔ کاملتر
استیرینگ (Steering) یعنی دستکاری مستقیم فعالسازیهای داخلی (activations) یک مدل زبانی حین اجرا، بهجای تأثیرگذاری از طریق پرامپت. ایده اصلی اینه که مفاهیمی مثل «مختصر جواب بده» بهشکل الگوهای عددی در لایههای مدل وجود دارن و میشه اونها رو استخراج و تقویت کرد. انتشار DeepSeek-V4-Flash بهعنوان یک مدل محلی قوی این تکنیک رو برای اولینبار در دسترس عموم توسعهدهندگان گذاشته.
سادهترین روش برای استیرینگ اینه که یک مجموعه پرامپت رو دوبار به مدل بدی — یکبار معمولی، یکبار با اضافهکردن عبارتی مثل «مختصر جواب بده» — و اختلاف فعالسازیها رو اندازه بگیری. این اختلاف میشه steering vector که میتونی بعداً به هر پرامپت دیگهای اضافهاش کنی. روش پیشرفتهتر اینه که یک مدل ثانویه آموزش بدی تا ویژگیهای (features) عمیقتری رو از فعالسازیها استخراج کنه؛ این همون کاریه که Anthropic با sparse autoencoders انجام میده.
اما چرا این تکنیک هنوز جاهایی مثل ChatGPT یا Claude Code پیاده نشده؟ نویسنده استیرینگ رو یک ایده «طبقه متوسط» توصیف میکنه: لابراتوارهای بزرگ AI ترجیح میدن مستقیماً مدل رو آموزش بدن، و کاربران عادی هم به وزنها و فعالسازیهای مدل دسترسی ندارن. از طرفی، برای اکثر کارها پرامپتنویسی سادهتر و بهاندازه کافی دقیقه.
جالبترین کاربرد استیرینگ اینه که بتونیم رفتارهایی رو تغییر بدیم که از طریق پرامپت قابل تغییر نیستن. مثلاً حذف refusal (امتناع مدل از پاسخ) که در وزنهای مدل «پخته شده» — چیزی که با پرامپت نمیشه خنثیاش کرد. در واقع روش abliteration که برای مدلهای بدون سانسور استفاده میشه، همین رویکرده. مزیتش اینه که دستکاری وزنها میتونه توانایی مدل رو کاهش بده، ولی استیرینگ در زمان اجرا این آسیب رو نداره.
نویسنده دو کاربرد جاهطلبانهتر رو هم بررسی میکنه: استیرینگ برای «هوشمندتر شدن» مدل، و استیرینگ برای «دانستن کدبیس من» بهجای استفاده از context window. هر دو رو با شک مینگره؛ چون مفاهیم به این پیچیدگی احتمالاً به یک fine-tune کامل نیاز دارن، نه یک بردار ساده.
جمعبندی نویسنده محتاطانهست: استیرینگ جالبه ولی نه برای همه چیز مناسب. با این حال، ظهور ابزارهایی مثل DwarfStar 4 (نسخه سبکشده llama.cpp برای DeepSeek-V4-Flash) که استیرینگ رو بهعنوان یک قابلیت اصلی داره، نشونهایه که جامعه متنباز تازه داره جدیاش میگیره. شاید ظرف شش ماه بفهمیم این تکنیک کجا واقعاً میدرخشه.
نکات کلیدی:
- استیرینگ یعنی دستکاری مستقیم فعالسازیهای داخلی مدل حین اجرا، نه از طریق پرامپت
- steering vector با اندازهگیری اختلاف فعالسازیهای مدل در دو حالت مختلف بهدست میاد
- DeepSeek-V4-Flash اولین مدل محلی قویه که استیرینگ رو برای توسعهدهندگان عادی عملی میکنه
- اکثر کاربردهای ساده استیرینگ رو میشه با پرامپتنویسی جایگزین کرد
- کاربرد واقعی استیرینگ: تغییر رفتارهای «پختهشده» در مدل مثل refusal که پرامپت روشون کار نمیکنه
- ابزار DwarfStar 4 استیرینگ رو بهعنوان قابلیت اصلی خودش داره
