‏وقتی مدل ارزون‌تر، گرون‌تر از آب درمیاد

تیم مایکروسافت تو این مقاله یه سناریوی آشنا رو تعریف می‌کنه: یه مدل جدید با قیمت هر توکنِ پایین‌تر و بنچمارک بهتر میاد، بهش سوییچ می‌کنی، و یه هفته بعد می‌بینی ایجنتت داره روی همون کار ۱۲ برابر توکن می‌سوزونه و خروجیِ بدتری هم می‌ده. برای همین ۱۵۰ تسک رو تو ۱۵ سناریو روی Claude Sonnet 4.6 و Sonnet 5 با GitHub Copilot تو VS Code تست کردن.

نکتهٔ کلیدی اینه که کارتِ قیمت (rate card) قبضت رو تعیین نمی‌کنه، مصرف توکن تعیین می‌کنه. Sonnet 5 با اینکه ورودی و خروجیش ارزون‌تره، تو تسکای معماری به‌طور میانه ۱۲ برابر و تو یه اجرا حتی ۴۷ برابر توکن بیشتر مصرف کرد. نتیجه‌ش این شد که تو ارتقای کد، هر اجرای Sonnet 5 حدود ۲ دلار خرج داشت در برابر ۵۵ سنتِ Sonnet 4.6 — یعنی مدلِ «ارزون‌تر» ۳.۷ برابر گرون‌تر.

به گفتهٔ نویسنده‌ها کیفیت هم بهتر نشد. تو کارهای معماری، هر دو مدل به یه اندازه (۷۵٪) تسک رو کامل کردن، ولی Sonnet 4.6 تو معیار «اصولی‌بودن» خروجی ۹۰٪ گرفت و Sonnet 5 فقط ۷۸٪. تو یه سناریوی طراحیِ معماریِ IoT، مدل قدیمی‌تر ۴ بار از ۵ بار قبول شد و مدل جدید فقط ۱ بار؛ با همون پرامپت، خروجیِ به‌طور قابل‌اندازه‌گیری بدتر.

اما یه جا ورق برگشت: تو تسکای ارتقای پروژه‌های SharePoint Framework که باید دقیقاً دستور کاربر رو دنبال می‌کرد، Sonnet 4.6 تو ۶۰٪ اجراها قبول شد و Sonnet 5 تو ۱۰۰٪. مثلاً تو ارتقا از نسخهٔ ۱.۲۱.۱ به ۱.۲۲.۰، مدل قدیمی هر پنج بار اشتباهاً نسخهٔ مستندات رو برمی‌داشت، ولی مدل جدید دقیقاً همون چیزی که خواسته شده بود رو رعایت کرد.

نویسنده‌ها میگن سقفِ واقعیِ کیفیت، مدل نیست، بلکه محتواست. تو همهٔ سناریوهای SPFx، «درستیِ پیکربندی» برای هر دو مدل صفر درصد بود، چون هفت تا تغییرِ فایل و کانفیگِ ساختاری (مثل مهاجرت از gulp به Heft) هیچ‌جای مستندات نبود. هیچ مدلی نمی‌تونه چیزی که مستند نشده رو کشف کنه؛ خرج‌کردن روی مدلِ جدیدتر، شکافِ محتوا رو پر نمی‌کنه.

یه ریسک دیگهٔ Sonnet 5 هم بی‌ثباتیش بود: مصرف توکنِ Sonnet 4.6 معمولاً بین ۱۴ تا ۴۵ هزار توکن جمع بود و بودجه‌بندی رو آسون می‌کرد، ولی Sonnet 5 تو همون سناریو یه بار ۱۶ هزار توکن و یه بار ۶.۶ میلیون توکن مصرف کرد. جمع‌بندیِ نویسنده اینه که ارتقای مدل یه فرضیه برای کارِ خاصِ خودته؛ اول محتوا و مصرف رو اندازه بگیر، بعد ارتقا بده.

نکات کلیدی:

• کارتِ قیمتِ ارزون‌تر یعنی قبضِ ارزون‌تر نیست؛ مصرف توکن تعیین‌کننده‌ست و Sonnet 5 تا ۱۲ برابر بیشتر توکن خورد
• تو کارهای معماری، مدل قدیمی‌تر کیفیتِ برابر یا بهتر (۹۰٪ در برابر ۷۸٪) با هزینهٔ مشابه داد
• تو تسکایی که دنبال‌کردن دقیق دستور مهمه، مدل جدیدتر واقعاً بهتر بود (۶۰٪ به ۱۰۰٪)
• سقفِ کیفیت رو محتوای مستندشده تعیین می‌کنه، نه نسخهٔ مدل؛ اول اندازه بگیر، بعد ارتقا بده