مدلهای کوچیک AI: سریع تایپ میکنن، دیر جواب میدن
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
به گفتهی نویسنده، تو دنیای مدلهای زبانی محلی یه نکتهی مهم معمولا نادیده گرفته میشه: سرعت تولید توکن با سرعت رسیدن به جواب فرق داره. نویسنده مدل کوچیک Qwen3.8-27B رو تو agent خودش امتحان کرده و از نتیجهش راضی بوده، ولی وقتی عمیقتر بررسی کرده به یه پارادوکس رسیده.
طبق دادههای Artificial Analysis، مدل Qwen3.8-27B که رو یه لپتاپ هم اجرا میشه، تو Intelligence Index (شاخصی که هوش مدلها رو میسنجه) رتبهی اول از بین ۱۳۵ مدل رو گرفته؛ حتی یه امتیاز بالاتر از GLM-5.2 که یه مدل متنباز غولپیکر با ۷۵۳ میلیارد پارامتره، یعنی حدود ۲۸ برابر بزرگتر.
نویسنده تو یه بنچمارک با ۲۵ تا کار واقعی (مثل ریسرچ روی استارتاپها، خلاصهسازی مقاله و پیادهسازی پادکست) سه مدل رو مقایسه کرده: مدل ابری deepseek-v4-flash، و دو مدل محلی qwen3.8-27b و qwen3.6-35b-a3b. کیفیت جواب هر سه تقریبا یکسان بوده (حدود ۸ از ۹)، ولی تو زمان رسیدن به جواب فرق زیادی دیده شده: مدل ابری تو ۱.۱ ثانیه جواب داده، qwen3.8-27b تو ۷.۲ ثانیه، و qwen3.6-35b-a3b تو ۱۰ ثانیه.
دلیلش اینه که مدلهای کوچیکتر دانش کمتری تو پارامترهاشون ذخیره کردن، پس برای رسیدن به جواب باید بیشتر «فکر کنن» و توکنهای استدلال بیشتری تولید کنن. مثلا qwen3.6-35b-a3b تو یه تسک سادهی دستهبندی، ۹۹۳ تا توکن صرف فکر کردن کرده تا فقط ۶ کلمه جواب بده؛ در حالی که مدل ابری مستقیم میپره سراغ جواب، چون دانشش رو از قبل تو پارامترهاش داره.
نتیجهگیری نویسنده اینه که مدلهای محلی میتونن به همون کیفیت مدلهای ابری برسن، ولی مسیرشون فرق میکنه: به جای دونستن مستقیم جواب، باید بیشتر استدلال کنن. پس وقتی میخوای سرعت یه مدل رو بسنجی، به جای توکن در ثانیه، زمان کامل رسیدن به جواب رو اندازه بگیر.
نکات کلیدی:
- Qwen3.8-27B (۲۷ میلیارد پارامتر) رتبهی اول Artificial Analysis Intelligence Index رو داره، یه امتیاز بالاتر از GLM-5.2 با ۷۵۳ میلیارد پارامتر
- تو بنچمارک ۲۵ تسکی نویسنده، deepseek-v4-flash تو ۱.۱ ثانیه، qwen3.8-27b تو ۷.۲ ثانیه و qwen3.6-35b-a3b تو ۱۰ ثانیه به جواب رسیدن
- qwen3.6-35b-a3b یه مدل sparse MoE با ۳۵ میلیارد پارامتر کل و فقط ۳ میلیارد پارامتر فعال در هر توکنه
- کیفیت جواب هر سه مدل تقریبا برابر بوده (۷.۹ تا ۸ از ۹)
