آداپتور Pi برای Qwen3.8-27B: کار یکسان با قدمهای کمتر
خلاصهٔ کاملتر
یه آداپتور جدید برای مدل ۲۷ میلیارد پارامتری Qwen3.8-27B اومده که مخصوص Pi ساخته شده؛ Pi یه ایجنت کدنویسی برای کارهای مهندسی نرمافزار و ترمیناله. این آداپتور از نوع LoRA هست (یعنی وزنهای اصلی مدل دست نمیخورن و فقط دو تا ماتریس کوچیک کنارشون آموزش میبینن). خروجی این دو بخش موقع اجرا با هم جمع میشه، برای همین فایل آداپتور خیلی کوچیک میمونه و میشه چند آداپتور رو روی یه مدل پایه عوضبدل کرد.
تو این مقاله اومده که نویسنده هر دو مدل رو با vLLM و یه API سازگار با OpenAI روی یه H100 با ۸۰ گیگ VRAM بالا آورده؛ مصرف حافظه حدود ۷۸ گیگ بوده. یه سرور vLLM وزنهای پایه رو یه بار تو حافظه نگه میداشت و آداپتورها با اسم، تو هر درخواست انتخاب میشدن. هر مدل هر تسک رو سه بار اجرا کرد و تعداد تماسها، توکنها و زمان ثبت شد.
تو تسک ساده (یه پارسر پایتون با یه باگ)، هر دو مدل هر سه بار باگ رو درست کردن. آداپتور بهطور میانگین ۴.۷ تماس و حدود ۴۵۰ توکن لازم داشت، در برابر ۶ تماس و ۵۱۹ توکن مدل پایه. تو تسک سختتر (یه پروژه سبد خرید با پنج باگ تو چهار فایل و ۱۲ تست) باز هم دقت برابر بود. آداپتور ۵.۳ تماس در برابر ۶.۷ داشت، ولی حدود ۱۰۹۰ توکن در برابر ۹۹۰ مصرف کرد و ۴۱ ثانیه در برابر ۳۳ ثانیه طول کشید.
نویسنده میگه مزیت اصلی، استدلال کوتاهتر بین هر فراخوانی ابزار و تعداد کمتر فراخوانیهاست، نه سرعت خام. یعنی اگه هزینه یا محدودیتت به ازای هر قدم باشه، آداپتور به کارت میاد؛ ولی اگه گلوگاهت سرعت تولید توکن باشه، مدل پایه بهتر به نظر میرسه. خودش هم تأکید میکنه که سه اجرا روی دو تسک فقط یه بررسی اولیهست، نه بنچمارک دقیق.
یه نکته جالب دیگه روش آموزشه که بهش safe RL میگن. مدلی که با یادگیری تقویتی آموزش میبینه ممکنه بهجای حل مسئله، سیستم پاداش رو دور بزنه؛ مثلاً فایل تست رو بخونه یا تستها رو ویرایش کنه که پاس بشن. اینجا یه proxy بین ایجنت و سرور مدل هر فراخوانی ابزار رو قبل از اجرا چک میکنه و اگه شبیه تقلب باشه، بلاکش میکنه و به اون تلاش پاداش صفر میده.
به گفته نویسنده، این آداپتور فقط مخصوص Qwen3.8-27B و ایجنت Pi هست و روی مدل یا ایجنت دیگه نتیجهش معلوم نیست. ولی ایده کلیش ارزشمنده: یه آداپتور کوچیک که داخل همون ایجنتی که استفاده میکنی آموزش دیده، میتونه رفتار مدل رو بدون آموزش دوباره کل مدل عوض کنه.
نکات کلیدی:
- آداپتور LoRA روی Qwen3.8-27B، آموزشدیده با یادگیری تقویتی برای ایجنت Pi
- تسک سخت: ۵.۳ تماس در برابر ۶.۷، یعنی حدود ۲۰٪ قدم کمتر با دقت برابر
- تو تسک سخت کندتر بود: ۴۱ ثانیه در برابر ۳۳ و حدود ۱۰۹۰ توکن در برابر ۹۹۰
- تست روی یه H100 با ۸۰ گیگ VRAM، با مصرف حدود ۷۸ گیگ زیر vLLM
- safe RL با یه proxy جلوی ویرایش یا خوندن فایل تست رو موقع آموزش میگیره




