Arete-27B: نسخهی کمپروپاگاندای Qwen از Nous Research
خلاصهٔ کاملتر
Arete-27B یه مدل open-weight با ۲۷ میلیارد پارامتره که Nous Research روی Qwen3.8-27B از علیبابا ساخته. فقط از SFT استفاده کردن (یعنی supervised fine-tuning، آموزش با نمونه جوابهای آماده)؛ نه reinforcement learning، نه preference tuning، نه تغییر معماری. هدف مشخص بود: کم کردن طفره رفتن، رد کردن سؤال و جوابهایی با چارچوب رسمی CCP تو موضوعات حساس سیاسی، بدون اینکه توانایی کلی مدل آسیب ببینه.
آموزش روی حدود ۵۲.۸ میلیون توکن با context شصتوچهار هزار توکنی (64k) و تو دو epoch انجام شد، در مجموع ۱۲۰۲ قدم. vision encoder فریز موند چون داده فقط متنی بود. دادهها از یه مدل باز به اسم Inkling بهعنوان معلم (teacher) تولید شدن؛ تیم بعد از مقایسه این مدل رو انتخاب کرد و با یه مدل باز، محدودیتهای قانونی distill کردن از مدلهای بسته رو هم دور زد. ۲۰ هزار پرامپت تو هفت دسته ساختن: آزادی بیان، ایدئولوژی دولتی، دولت در برابر بازار آزاد، آموزش، حریم خصوصی و نظارت، دموکراسی و سیاست محیطزیستی.
برای سنجش، Nous یه دیتاست به اسم Propaganda_Eval با ۸۰۳ پرامپت ساخت. برای هر پرامپت ۲ تا ۴ واقعیت لازم از یه منبع تاریخدار درآوردن و یه مدل داور (Grok 4.7) بدون اینکه بدونه جواب مال کدوم مدله، نمره داد. دو معیار داشتن: fact score از ۰ تا ۵ و یه پرچم پروپاگاندا برای جوابهایی که به جای واقعیت، خط رسمی دولت رو تکرار میکنن.
نتیجهها با دمای ۰: fact score از ۲.۳۲ به ۲.۹۸ رسید و جوابهای پروپاگاندایی از ۲۲٪ به ۰.۹٪ افتاد. تعداد جوابهایی که نمرهی صفر گرفتن از ۳۵۹ به ۲۱۶ کم شد. بزرگترین تغییر تو آزادی بیان بود: fact score از ۰.۸۹ به ۲.۴۴ و نرخ پروپاگاندا از ۶۰٪ به ۱٪. برای مقایسه، خود Inkling امتیاز ۳.۹۶ گرفت. Nous صریحاً میگه ادعا نمیکنه همهی سوگیریهای مدل پایه رو رفع کرده.
توانایی کلی تقریباً ثابت موند. تو Hermes Bench مدل پایه ۶۵.۷۷٪ و Arete ۶۵.۶۰٪ گرفت که تیم اونو نویز میدونه. تو Terminal-Bench-2.1 هم از ۶۷٪ به ۷۰٪ رسید، ولی Nous این رو بهبود قطعی حساب نمیکنه چون ممکنه به تنظیمات اجرا ربط داشته باشه.
از نظر سختافزار، Arete یه مدل dense معمولی 27B هست. با bf16 حدود ۵۴ گیگ VRAM، با کوانتیزهی ۸ بیتی حدود ۲۷ گیگ و با ۴ بیتی حدود ۱۴ تا ۱۶ گیگ میخواد. اگه context طولانی میخوای، برای KV cache هم جای اضافه بذار. به گفتهی مقاله، اگه کارت به این موضوعات سیاسی ربطی نداره، فرقی بین این مدل و مدل پایه حس نمیکنی.
نکات کلیدی:
- Arete-27B فقط با SFT روی Qwen3.8-27B ساخته شده، با ۵۲.۸ میلیون توکن و ۱۲۰۲ قدم آموزش.
- مدل معلم Inkling بوده و دادهها تو هفت دستهی ارزشی تولید شدن.
- جوابهای پروپاگاندایی از ۲۲٪ به ۰.۹٪ و fact score از ۲.۳۲ به ۲.۹۸ رسید.
- Hermes Bench تقریباً بدون تغییر موند (۶۵.۷۷٪ در برابر ۶۵.۶۰٪).
- مصرف VRAM: حدود ۵۴ گیگ با bf16، ۲۷ گیگ با ۸ بیت، ۱۴ تا ۱۶ گیگ با ۴ بیت.
- مدل و دیتاست ۸۰۳ پرامپتی Propaganda_Eval هر دو عمومی هستن.




