Quark: مدل زبانی ۱۶۵ میلیونی با ۴۲۰۰ دلار
خلاصهٔ کاملتر
تیم Empero تو این مقاله توضیح میده که قبل از خرج کردن پول جدی روی یه مدل بزرگ، خواستن کل stack خودشون رو تست کنن؛ از داده و معماری تا pretraining، گسترش context، یادگیری تقویتی و ارزیابی. نتیجهش Quark شده: یه مدل زبانی با حدود ۱۶۵ میلیون پارامتر که با حدود ۴۲۰۰ دلار و ۱۳۰۰ ساعت H100 آموزش دیده، با احتساب طرح اولیهٔ کنارگذاشته و تلاشهای ناموفق. هر چهار checkpoint با لایسنس Apache-2.0 روی Hugging Face هستن.
از ۱۶ لایهٔ مدل، دوازدهتاش local هستن، یعنی فقط به ۲۵۶ توکن آخر نگاه میکنن و یه convolution کوتاه هم دارن. هر لایهٔ چهارم global هست و کل متن رو میبینه. نتیجه اینه که فقط چهار لایه KV cache کامل نگه میدارن (یعنی حافظهای که مدل برای توکنهای قبلی نگه میداره). برای همین تو ۱۲۸ هزار توکن، کش فقط حدود ۰.۵ گیگابایت جا میگیره؛ یکچهارم حالتی که همهٔ لایهها global باشن.
pretraining روی ۵۰۰ میلیارد توکن و فقط یه نود ۸×H100 انجام شده: ۴۷۰ میلیارد توکن با context ۴K و بعد یه anneal (یعنی مرحلهٔ آخر با کم کردن تدریجی learning rate) روی ۲۸ میلیارد توکن با context ۳۲K. نود هفت بار از کار افتاده ولی چون ترتیب داده فقط از شمارهٔ step میآد، ادامهٔ آموزش دقیقاً همون توکنها رو دیده. بعد نسخهٔ ۱۲۸K با ۱۰ میلیارد توکن دیگه از کتابها، مقالههای arXiv و sessionهای ساختگی tool-use ساخته شده.
نسخهٔ Quark-150M-128K-Zero فقط با GRPO آموزش دیده، بدون fine-tuning نظارتشده و بدون distillation (یعنی هیچ متنی از مدل دیگه هدف آموزش نبوده). حدود ۹۵٪ پاداشها از کد اومده، مثل تست واحد و چک فایل تو sandbox واقعی. قبلش مدل نتیجهٔ ابزارها رو از خودش درمیآورد؛ بعدش سهم تسکهای ترمینالی حلشده از ۳٪ به ۶۵٪ رسیده و جوابهای درست از ۱۳٪ به ۳۶٪.
تو نه بنچمارک zero-shot، نسخهٔ 128K-Base با میانگین ۵۲.۸ از مدلهایی مثل Mamba-130M، Pythia-160M و GPT-2 جلوتره. ولی SmolLM2-135M که با ۲ تریلیون توکن آموزش دیده، با ۵۵.۳ تو هفت تسک از نهتا بهتره. تو ۱۲۸K هم پنج خانواده از هشت تسک long-context کامل پاس شدن، ولی quote attribution تو همهٔ طولها شکست خورده.
نویسندهها خودشون میگن این یه مدل تحقیقاتیه، نه محصول. جستوجوی وب با RL بهتر نشده، امتیاز long-context تو مرحلهٔ RL افت کرده، مدل اطلاعات کمی از دنیا داره و با اطمینان اشتباه میکنه و ارزیابی ایمنی هم نشده. برای استفاده هم transformers نسخهٔ 5.23 یا جدیدتر لازمه. قدم بعدی تیم، بزرگ کردن همین pipeline برای یه مدل بزرگتره.
نکات کلیدی:
- Quark حدود ۱۶۵M پارامتر داره و کل آموزشش حدود ۴۲۰۰ دلار و ۱۳۰۰ ساعت H100 خرج داشته.
- از ۱۶ لایه فقط ۴ لایه global هستن و KV cache تو ۱۲۸K حدود ۰.۵ گیگابایته.
- نسخهٔ Zero فقط با GRPO و بدون SFT یا distillation آموزش دیده.
- میانگین ۵۲.۸ در نه بنچمارک؛ بالاتر از Mamba-130M ولی پایینتر از SmolLM2-135M با ۵۵.۳.
- هر چهار checkpoint با Apache-2.0 روی Hugging Face منتشر شدن و transformers 5.23 به بالا لازمه.




