Qwen3.8-9B؛ استدلال مدل بزرگ روی یک GPU
هوش مصنوعیخلاصهٔ کامل‌تر
Qwen3.8-9B یه مدل غیررسمیه که تیمی به اسم Empero منتشرش کرده. توی این مقاله اومده که مدل رسمی Alibaba یعنی Qwen 3.8 با ۲۷ میلیارد پارامتر برای کسی که بودجهٔ GPU سنگین نداره عملاً قابل اجرا نیست، برای همین Empero اون مدل بزرگ رو به‌عنوان «معلم» گرفته و ازش ده‌ها هزار مسیر استدلالی درآورده. بعد با همون داده‌ها مدل پایهٔ Qwen3.5-9B رو فاین‌تیون کرده تا سبک استدلال مدل بزرگ رو تقلید کنه. خروجی با نام empero-ai/Qwen3.8-9B و لایسنس Apache 2.0 روی Hugging Face منتشر شده.
روش کار teacher-student هست (یعنی مدل بزرگ مسئله رو حل می‌کنه و مدل کوچیک از روی راه‌حلش یاد می‌گیره). حدود ۷۰ هزار مسئلهٔ ریاضی، کد و استدلال به مدل معلم داده شده و معلم موقع حل، کل زنجیرهٔ فکرش رو نوشته. این مسیرها فیلتر کیفی شدن و بعد شدن دادهٔ آموزش مدل ۹ میلیاردی. نکته اینه که مدل کوچیک فقط جواب نهایی رو یاد نگرفته، بلکه قدم‌های میانی و طرز شکستن مسئله رو هم یاد گرفته؛ یعنی شانس بیشتری داره همون روش رو روی مسئله‌های تازه هم تعمیم بده.
این تقطیر از نوع cross-entropy ـه نه logit distillation؛ یعنی مدل کوچیک از متن تولیدشدهٔ معلم یاد گرفته، نه از توزیع احتمال کامل معلم روی همهٔ توکن‌ها. نویسنده می‌گه روش logit معمولاً ظرافت بیشتری منتقل می‌کنه، چون میزان اطمینان و تردید معلم رو هم نشون می‌ده، ولی چون log probabilityهای Qwen 3.8 عمومی نیست، Empero مجبور شده با همون ردپای متنی کار کنه. اگه نسخه‌های بعدی این اطلاعات رو باز کنن، جا برای بهتر شدن هست.
از نظر سخت‌افزار، سرو کردن مدل با vLLM و تنظیمات پیش‌فرض نزدیک ۴۴ گیگابایت VRAM خورده و کم کردن حداکثر طول کانتکست ساده‌ترین راه پایین آوردن این عدده. مدل برای لایه‌های gated delta net به کتابخانهٔ flash-linear-attention تکیه می‌کنه و بدون اون به عملیات کندتر PyTorch برمی‌گرده. مسیر عملی اینه که با vLLM بالا بیارینش تا یه اندپوینت سازگار با OpenAI بگیرین و راحت به ابزارهای ایجنتی وصلش کنین.
توی بنچمارک MMLU نمره از حدود ۰.۵۵ به ۰.۷۵ رسیده که برای یه پاس فاین‌تیون جهش قابل‌توجهیه. جدی‌ترین تست اما یه کار ایجنتی بوده: با یه پرامپت بدون راهنمایی، مدل یه اپ رهگیری ارز دیجیتال با بک‌اند، فرانت‌اند، Redis، پروکسی Nginx و فایل Docker Compose ساخته که واقعاً بالا اومده و داده‌های زنده رو نشون داده. در مقابل، توی زبون‌های کم‌منبع مثل بلوچی و نپالی خروجی ضعیفه و نویسنده می‌گه همین ضعف توی نسخهٔ ۲۷ میلیاردی هم هست، پس ارثیهٔ خانوادهٔ Qwen 3.5/3.8 ـه نه نتیجهٔ تقطیر.
نکات کلیدی:
- مدل با نام empero-ai/Qwen3.8-9B و لایسنس Apache 2.0 روی Hugging Face منتشر شده.
- حدود ۷۰ هزار مسیر استدلالی از مدل معلم Qwen 3.8 برای آموزش مدل ۹ میلیاردی استفاده شده.
- نمرهٔ MMLU نسبت به مدل پایهٔ Qwen3.5-9B از حدود ۰.۵۵ به ۰.۷۵ رسیده.
- سرو مدل با vLLM و تنظیمات پیش‌فرض حدود ۴۴ گیگابایت VRAM مصرف کرده.
- زبون‌های کم‌منبع مثل بلوچی و نپالی نقطه‌ضعف اصلی مدلن.
