‏دو راه متفاوت برای مدیریت context تو مدل‌های AI

تو این مقاله، نویسنده می‌گه بعد از کارکردن همزمان با مدل‌های تازه‌ی OpenAI و Anthropic متوجه شده این دو شرکت دو رویکرد کاملاً متفاوت برای مدیریت context دارن و همین باعث رفتار متفاوتشون می‌شه. به گفته‌ی نویسنده، برای هر مدل پیشرو، انجام کار واقعی در اصل یه تمرین تو مدیریت context هست؛ مدل باید یه مسئله رو تو تعداد خیلی زیادی توکن حل کنه (بعضی از طریق tool call، بعضی فکرکردن خود مدل) و بعد نتیجه بده. برای حل کارهای سخت‌تر و طولانی‌تر باید بفهمی چطوری این مدیریت context رو مقیاس بدی.

نویسنده رویکرد OpenAI رو «Oracle» (غیب‌گو) می‌نامه. به گفته‌ی اون، مدل Codex خیلی تو مدیریت context طولانی بهتر شده و حتی با context window کوچیک‌تر نسبت به Opus، تو کارهای طولانی منسجم می‌مونه. روشش compaction هست: وقتی توکن‌های تولیدشده دارن از context window سرریز می‌کنن، یه فرایند همه‌چیز رو فشرده می‌کنه و فقط اطلاعات مرتبط رو نگه می‌داره. دو راه ساده برای این کار وجود داره؛ یا یه مدل جدا (گاهی کوچیک‌تر) بر اساس مسیر گفتگو یه پیام تازه می‌سازه، یا بعضی دسته‌های call مثل tool callها از گفتگو حذف می‌شن.

نکته‌ی جالب اینه که Codex این compaction رو سمت سرور و داخل responses API انجام می‌ده. این دو مزیت خوب داره: اول اینکه OpenAI می‌تونه پیاده‌سازیش رو راحت و هر وقت خواست عوض کنه بدون اینکه روی کلاینت‌ها اثر بذاره، و دوم اینکه API می‌تونه از K/V caching بهتری برای threadهای طولانی استفاده کنه چون به GPU درست مسیریابی می‌شه. نتیجه به نظر نویسنده مثل یه «غیب‌گو»ست: یه thread طولانی با compactionهای مکرر که جزئیات کوچیک ولی مهم رو به‌خاطر می‌سپاره.

در مقابل، نویسنده رویکرد Anthropic رو «Firm» (شرکت/بنگاه) می‌نامه. این‌جا به جای فشرده‌سازی، context بین چند agent تقسیم می‌شه؛ مسئله به زیرمسئله‌ها شکسته می‌شه و هر agent تو context window خودش روی زیرمسئله‌ش کار می‌کنه و فقط اطلاعات مرتبط رو به والد پس می‌ده. به گفته‌ی نویسنده، Claude Code برای بررسی codebase با شوق sub-agentهای Explore رو صدا می‌زنه. اون می‌گه این بیشتر شبیه طرز کار سازمان‌های انسانیه: هر کس هدف و ورودی-خروجی خودش رو داره، فقط بخشی از کل اطلاعات رو می‌بینه و از طریق زبان ارتباط برقرار می‌کنه، ولی حالت پنهان ذهن بقیه رو نمی‌بینه.

نویسنده چند جمع‌بندی داره. به نظر اون مدل‌های Anthropic معمولاً گرون‌ترن چون sub-agentها اغلب کار تکراری انجام می‌دن و فایل‌های مشابه رو جستجو می‌کنن چون فعالانه با هم حرف نمی‌زنن. از طرف دیگه این مدل‌ها سریع‌تر به‌نظر می‌رسن چون توکن‌ها به‌صورت موازی تولید می‌شن نه سری. ولی یه عیب مهم هم دارن: گاهی کمتر منسجم‌ان یا حقایق رو اشتباه گزارش می‌دن، چون اگه یه sub-agent تصمیم بگیره یه واقعیت ارزش برگردوندن به والد رو نداره، اون واقعیت از context غایب می‌شه. این با compaction هم ممکنه ولی کمتر، چون مدل کار کمتری برای حذف یا نگه‌داشتن توکن‌ها می‌کنه.

نویسنده در پایان پیش‌بینی می‌کنه که در نهایت هر دو رویکرد با هم ترکیب می‌شن: Anthropic compaction خودش رو بهتر می‌کنه (که الان زیادی پر-اتلافه)، و OpenAI هم برای حالت‌های چند-agentی آموزش می‌ده.

نکات کلیدی:

• مدیریت context هسته‌ی اصلی انجام کارهای طولانی توسط مدل‌های پیشروست
• رویکرد OpenAI یعنی compaction: یه thread طولانی که سمت سرور فشرده می‌شه و انسجام بالایی نگه می‌داره
• رویکرد Anthropic یعنی تقسیم context بین sub-agentها که هرکدوم فقط نتیجه‌ی مهم رو به والد برمی‌گردونن
• روش sub-agent ممکنه گرون‌تر باشه و گاهی حقایق رو از قلم بندازه، ولی سریع‌تر به‌نظر می‌رسه
• نویسنده فکر می‌کنه در آینده هر دو شرکت ترکیبی از این دو روش رو به‌کار می‌گیرن