‏عوض کردن مدل Claude وسط کار گرون‌تر درمیاد

نویسندهٔ مقاله می‌گه خیلی‌ها وسط یه جلسهٔ کاری با Claude، برای یه سؤال ساده از Opus می‌رن سراغ Haiku که پول کمتری بدن. ولی این کار معمولاً برعکس جواب می‌ده. دلیلش caching هست، یعنی ذخیره کردن بخشی از گفتگو که قبلاً پردازش شده تا تو نوبت‌های بعدی دوباره با قیمت کامل حساب نشه.

مشکل اینجاست که این کش برای هر مدل جداست. Opus کش خودش رو داره، Sonnet و Haiku هم همین‌طور، و با هم شریک نیستن. پس وقتی مدل رو عوض می‌کنی، مدل جدید باید کل تاریخچهٔ گفتگو رو از اول و با نرخ کامل توکن بخونه. اگه بعداً برگردی سراغ مدل قبلی، همین اتفاق دوباره می‌افته. به گفتهٔ مقاله، چند بار رفت‌وبرگشت بین مدل‌ها می‌تونه هزینه رو تا حدود ده برابر بالا ببره.

یه هزینهٔ پنهون دیگه هم هست: مدل‌های کوچیک‌تر معمولاً چند بار تلاش و اصلاح بیشتر لازم دارن تا به همون کیفیت برسن. طبق یه تستی که مقاله بهش اشاره می‌کنه، Haiku 5.5 درخواست‌های بیشتری لازم داشت و تو جلسه‌های طولانی تقریباً دو برابر Sonnet طول کشید. یعنی ارزون بودن هر توکن لزوماً به معنی ارزون بودن کل کار نیست.

راه‌حلی که Anthropic پیشنهاد می‌ده اینه که بیشتر کارها رو با Opus 5.5 شروع کنی و به جای عوض کردن مدل، effort level رو تنظیم کنی، یعنی اینکه مدل چقدر عمیق فکر کنه. برای یه سؤال ساده کافیه effort رو پایین بیاری یا ازش یه جواب سریع بخوای. اینطوری کش سر جاش می‌مونه.

گزینهٔ دیگه قابلیت advisor هست: یه مدل ارزون‌تر بیشتر کار رو انجام می‌ده و فقط برای تصمیم‌های سخت از یه مدل قوی‌تر مشورت می‌گیره، مثلاً قبل از انتخاب یه روش، وقتی یه خطا مدام تکرار می‌شه، یا قبل از تموم کردن کار. فرقش با عوض کردن دستی اینه که کش رو خراب نمی‌کنه. البته این قابلیت هنوز آزمایشیه و ممکنه تغییر کنه.

نکات کلیدی:

• هر مدل Claude کش جداگونه‌ای از گفتگو داره و عوض کردن مدل یعنی پردازش دوبارهٔ کل تاریخچه با قیمت کامل.
• طبق یه تست، Haiku 5.5 تو جلسه‌های طولانی تقریباً دو برابر Sonnet زمان برد.
• Anthropic پیشنهاد می‌ده کار رو با Opus 5.5 شروع کنی و برای سؤال‌های ساده effort رو کم کنی.
• قابلیت آزمایشی advisor اجازه می‌ده یه مدل قوی‌تر بدون خراب شدن کش وارد کار بشه.
• تو گفتگوهای کوتاه هزینهٔ بارگذاری دوباره کمه، ولی تو جلسه‌های طولانی می‌تونه کل صرفه‌جویی رو از بین ببره.