تست Alpie Seed 9B: بنچمارکها با واقعیت جور نیستن
خلاصهٔ کاملتر
Alpie Seed 9B یه مدل vision-language (یعنی مدلی که هم متن میخونه هم تصویر) با ۹ میلیارد پارامتره که شرکت 169Pi روی پایهی Qwen3.5 ساخته و با fine-tuning و GRPO (یه روش reinforcement learning) آموزشش داده. context window ۲۶۲ هزار توکنی و thinking mode داره، با لایسنس Apache 2.0 منتشر شده و نسخهی GGUF هم داره. نمودارهای خود مدل نشون میدن که تو دانش عمومی، علوم، ریاضی مسابقهای و کدنویسی از مدلهای 13B، 20B و حتی 30B هم بهتره.
تو این مقاله مدل با llama.cpp و حدود 9GB VRAM اجرا شد و به agent harness به اسم Hermes وصل شد تا بتونه خودش فایل بخونه و ویرایش کنه. تست اصلی یه اپ سهلایهی Docker بود (Postgres، Flask و داشبورد) برای مدیریت گلهی یاک، با یه باگ عمدی: میانگین شیر به جای تقسیم بر ۸ یاک شیرده، بر کل ۱۵ حیوون تقسیم میشد و عدد اشتباه 2.09 لیتر نشون میداد.
بار اول ابزار مدل اصلاً کار نکرد و گفت کدی پیدا نمیکنه، با اینکه پوشه درست تنظیم شده بود. بار دوم فایلها رو پیدا کرد ولی گفت سه تا باگ پیدا کرده که هیچکدومش وجود نداشت، و باگ واقعی دستنخورده موند. بدتر اینکه یکی از «اصلاحها» آدرس API فرانتاند رو به اسم سرویس داخلی Docker عوض میکرد که مرورگرِ روی سیستم اصلی نمیتونه پیداش کنه. یعنی اگه اعمال میشد، داشبوردی که سالم کار میکرد خراب میشد.
تو تست بینایی، از مدل خواسته شد از روی یه طرح دستی دونر کباب یه انیمیشن بسازه. خروجی یه گوجه، یه تیکه گوشت و یه چیزی شبیه آتیش داشت، ولی تناسبها و رابطهی اجزا «کاملاً اشتباه» بود. تو تست فیزیک (اثبات یه اتحاد با تابع زتا و یه ثابت شبیه Stefan-Boltzmann)، مدل خیلی سریع جواب داد. ولی یه جای استدلالش واحدها به هم ریخته بود و عدد نهایی حدود ۱۰۰ برابر اشتباه بود.
نویسنده میگه جالبه که مدل هنوز جاهایی ثابتها و مفاهیم درسی رو درست یادش بود. یعنی پایهی Qwen3.5 دانش عمومیش رو حفظ کرده، ولی آموزش اضافهی Alpie اون رو قابلاعتمادتر نکرده. به گفتهی مقاله، تقاضای زیاد برای مدلهای 4B تا 9B که لوکال اجرا میشن، باعث میشه سازندهها نمودارهای خوشبینانه منتشر کنن. پس قبل از استفاده برای کدنویسی agentic یا محاسبات دقیق، خروجیها رو خودت چک کن.
نکات کلیدی:
- Alpie Seed 9B روی Qwen3.5 ساخته شده، context ۲۶۲K داره و با Apache 2.0 منتشر شده.
- مصرف VRAM با llama.cpp و فرمت GGUF حدود 9GB بود.
- تو تست کدنویسی سه باگ خیالی گزارش کرد و باگ واقعی میانگینگیری رو درست نکرد.
- یه اصلاح پیشنهادیش آدرس API رو به اسم سرویس Docker عوض میکرد و میتونست داشبورد رو خراب کنه.
- جواب عددی مسئلهی فیزیک حدود ۱۰۰ برابر اشتباه بود.




