‏Strands Decider 2B؛ مدل کوچیکی که فقط تصمیم می‌گیره

تیم Strands تو این مطلب از Strands Decider 2B رونمایی کرده؛ یه مدل ۲ میلیارد پارامتری که جزو دسته‌ی تازه‌ی _decision model_ها هست (یعنی مدل‌هایی که به‌جای تولید متن آزاد، فقط بین چند گزینه انتخاب می‌کنن). مثلاً ازش می‌پرسی «این جمله درباره‌ی قهوه‌سازه؟ بله یا نه» یا «این جمله چقدر مثبته؟ عددی بین ۰ و ۱». کد، داده‌ی آموزشی و اسکریپت‌ها روی GitHub و وزن‌ها روی Hugging Face منتشر شده.

به گفته‌ی نویسنده، این مدل‌ها در ازای انعطاف کمتر، تو همون اندازه سریع‌تر و دقیق‌ترن و همیشه یکی از گزینه‌ها رو برمی‌گردونن. یه امتیاز اطمینان هم کنار هر تصمیم می‌دن که APIهای مدل‌های بزرگ معمولاً نمی‌دن. ولی چون همه‌ی خروجی رو تو یه پاس موازی می‌سازن، تو مسئله‌های پیچیده خیلی ضعیف‌تر از مدل‌های استدلالی‌ان و برای کدنویسی، چت‌بات یا خلاصه‌سازی اصلاً مناسب نیستن.

ساختارش این‌طوریه: بدنه‌ی مدل Qwen3.5-2B رو برداشتن و LM head (یعنی لایه‌ی آخری که کلمه تولید می‌کنه) رو حذف کردن. جاش یه pointer head کوچیک با کمی بیشتر از یک میلیون پارامتر گذاشتن که hidden state هر گزینه رو با hidden state جایگاه مقایسه و امتیازدهی می‌کنه. خود بدنه هم با یه LoRA رنک ۱۶ fine-tune شده. نسخه‌ای که منتشر شده v19 هست و نسخه‌ی اول معماری که از slot head استفاده می‌کرد خیلی بدتر جواب می‌داد.

تو بنچمارک JevBench از نظر دقت و کالیبره بودن (با Brier score سنجیده شده) رتبه‌ی ۳ از ۳۳ مدل کلاس 2B رو گرفته. میانه‌ی تأخیرش روی RTX 3090 حدود ۱۱۵ میلی‌ثانیه و روی مک‌بوک M3 حدود ۱۵۳ میلی‌ثانیه‌ست و تقریباً خطی با اندازه‌ی ورودی بالا می‌ره. نویسنده می‌گه ۲ میلیارد پارامتر نقطه‌ی خوبیه: اون‌قدر کوچیکه که بتونی روی سخت‌افزار خودت حتی آموزشش هم بدی، و اون‌قدر بزرگه که کار واقعی انجام بده.

کاربردهایی که اسم برده: مسیریابی بین مدل‌ها، انتخاب ابزار، ارزیابی، گاردریل و مدیریت context. تو مثال رپو، قبل از اینکه ایجنت ابزار get_weather رو صدا بزنه، Decider دو تا سؤال بله/نه جواب می‌ده: آرگومان‌ها از حرف کاربر اومده یا حدس زده شده؟ الان وقت صدا زدن این ابزاره؟ این کار از طریق InterventionHandler با متد before_tool_call انجام می‌شه که یکی از Proceed، Deny، Confirm یا Guide رو برمی‌گردونه. یعنی تصمیمی این‌قدر ارزون می‌تونه جایی بشینه که صدا زدن یه LLM اصلاً نمی‌صرفه.

نکات کلیدی:

• مدل ۲ میلیارد پارامتری بر پایه‌ی Qwen3.5-2B با pointer head حدود یک میلیون پارامتری
• رتبه‌ی ۳ از ۳۳ در کلاس 2B روی JevBench از نظر دقت و Brier score
• میانه‌ی تأخیر حدود ۱۱۵ms روی RTX 3090 و ۱۵۳ms روی M3
• متن تولید نمی‌کنه و برای کدنویسی و چت‌بات مناسب نیست
• کد، داده و اسکریپت‌های آموزش کامل متن‌باز شده