Arete-27B؛ نسخه بدون روایت دولتی Qwen از Nous Research
خلاصهٔ کاملتر
Arete-27B یه مدل open-weight با ۲۷ میلیارد پارامتره که Nous Research با لایسنس Apache 2.0 روی Hugging Face منتشر کرده. پایهاش Qwen3.8-27B علیبابا هست. به گفته Nous، مدل Qwen وقتی درباره تایوان، تیانآنمن، سانسور یا نظارت دولتی ازش سؤال میشد، یا جواب نمیداد، یا طفره میرفت، یا همون روایت رسمی دولت چین رو تکرار میکرد.
استدلال Nous اینه که ارزشهایی که یه مدل پایه باهاش منتشر میشه نباید تنها گزینه کاربرا باشه. چون وزنهای Qwen بازن، هر کسی میتونه مدل رو به سمت ارزشهای دیگه آموزش بده، همونطور که برای کدنویسی یا ریاضی post-training میکنن. Arete-27B قراره نشون بده این کار با یه آموزش سبک شدنیه و نتیجهاش قابل بررسیه.
برای اندازهگیری، Nous یه ارزیابی ۸۰۳ پرامپتی تو هفت دسته ساخته که دو چیز رو جدا میسنجه: مدل واقعیتها رو میدونه یا نه، و اونا رو با قاببندی دولت چین تعریف میکنه یا نه. داور یه LLM (یعنی Grok 4.7) هست که نمیدونه جواب مال کدوم مدله. نتیجه: امتیاز واقعیت از 2.32 به 2.98 از ۵ رفته و سهم جوابهای پروپاگاندایی از ۲۲٪ به ۰.۹٪ رسیده.
آموزش فقط با supervised fine-tuning بوده، بدون RL یا تغییر معماری. همه وزنهای زبانی آموزش دیدن ولی vision encoder ثابت مونده چون دادهها فقط متنی بودن. حدود ۵۲.۸ میلیون توکن، دو epoch، ۱۲۰۲ step، با AdamW و learning rate حداکثر 1e-5. دادهها از مدل معلمی به اسم Inkling اومدن. Nous گفته Inkling رو چون باز بوده انتخاب کرده تا با محدودیتهای distill کردن از مدلهای بسته درگیر نشه.
تو بنچمارکهای عمومی تقریباً فرقی نیست: Hermes Bench 65.60٪ در برابر 65.77٪ و Terminal-Bench-2.1 هفتاد در برابر ۶۷ درصد. تو جدول مقایسه، نرخ پروپاگاندای Arete نزدیک Mistral Large 4 و Nemotron هست و خیلی پایینتر از ۱۵ تا ۱۶ درصدِ GLM و DeepSeek. البته بقیه مدلها با temperature متفاوتی اجرا شدن.
نویسنده میگه برای کسی که کارش ربطی به این هفت دسته نداره، مثل کدنویسی یا تحلیل داده، فرق Arete با Qwen احتمالاً کمه. ارزش اصلی این انتشار به نظر نویسنده یه روش مستند و یه بنچمارک قابل استفاده دوبارهست، برای کسایی که میخوان همین کارو روی مدل دیگهای بکنن یا قبل از deploy مدلشون رو بررسی کنن.
نکات کلیدی:
- Arete-27B یه fine-tune از Qwen3.8-27B با لایسنس Apache 2.0 هست
- نرخ پروپاگاندا از ۲۲٪ به ۰.۹٪ و fact score از 2.32 به 2.98 رسیده
- آموزش فقط SFT بوده، روی ۲۰ هزار پرامپت و ۵۲.۸ میلیون توکن
- مدل معلم Inkling بوده چون اوپن بوده
- Hermes Bench تقریباً بدون تغییر: 65.77٪ در برابر 65.60٪
- دیتاست Propaganda_Eval روی Hugging Face منتشر شده




