‏به پنجره‌های context بزرگ اعتماد نکن

نویسنده می‌گه بعد از دیدن یه ویدیو، اسمی پیدا کرد برای چیزی که مدت‌ها حسش می‌کرد: پنجرهٔ context یه مدل زبانی رو می‌شه به دو بخش تقسیم کرد. یه منطقهٔ باهوش (smart zone) که مدل توش تیز و دقیقه، و یه منطقهٔ خنگ (dumb zone) که توجه مدل افت می‌کنه و چیزایی که پنج دقیقه پیش بهش گفتی رو یادش می‌ره. این مرز معمولاً یه جایی نزدیک ۱۰۰ هزار توکنه و مهم نیست که پنجرهٔ تبلیغ‌شده چقدر بزرگه.

به گفتهٔ نویسنده این موضوع مهمه چون ایجنت‌های کدنویسی راحت تو رو می‌کشونن وسط همون منطقهٔ خنگ. یه ایجنت مدرن خیلی سریع توکن می‌سوزونه؛ چندتا خوندن فایل، یه سشن دیباگ طولانی و یه اجرای تست بزرگ کافیه که قبل از ناهار به ۱۰۰ هزار برسی. این وسط شرکت‌ها پنجره‌های ۲۰۰ هزار، یک میلیون و دو میلیونی رو تبلیغ می‌کنن، انگار این عددا یه فضای کاری واقعی و قابل‌استفاده‌ان.

نویسنده به مطالعاتی مثل RULER و گزارش context rot از Chroma اشاره می‌کنه که نشون می‌دن context مؤثر فقط کسری از عدد تبلیغ‌شده‌ست و کیفیت مدل به‌تدریج با پر شدن پنجره افت می‌کنه. به گفتهٔ اون، معماری پشت این پنجره‌های بزرگ کار می‌کنه، ولی مشکلی رو که خود مکانیزم attention حلش نکرده ماستمالی می‌کنه؛ عدد روی جعبه هر نسخه بزرگ‌تر می‌شه، ولی بخش قابل‌استفاده‌ش پابه‌پاش جلو نمی‌ره.

نویسنده می‌گه ابزارایی مثل Claude Code حالا auto-compact دارن: وقتی سشن طولانی می‌شه، ایجنت تاریخچه رو خلاصه می‌کنه و از نو شروع می‌کنه. این کمک می‌کنه، ولی مشکلش اینه که این فشرده‌سازی بعد از این‌که وقتت رو تو منطقهٔ خنگ گذروندی فعال می‌شه، و خود اون خلاصه رو هم یه مدلی می‌سازه که از قبل افت کرده.

راهی که خود نویسنده می‌ره اینه که یه سشن جدید باز می‌کنه و یه spec که خودش نوشته بهش می‌ده. به گفتهٔ اون این یه تحویل خیلی باکیفیت‌تر از هر خلاصهٔ خودکاره، چون خودش تصمیم می‌گیره چی از این به بعد مهمه. اون اسم این کارو می‌ذاره رویکرد breadcrumb برای ایجنت‌ها: یه آرتیفکت جا بذار که سشن بعدی یا آدم بعدی بتونه تمیز ازش ادامه بده.

نویسنده می‌گه می‌شه این کارو جلوتر هم برد؛ پروژه‌هایی مثل obra/superpowers و mattpocock/skills کل ورک‌فلوی ایجنت رو دور آرتیفکت‌های کوچیک و اسم‌دار مثل PRD، plan و skill می‌چینن. هر کدوم یه راهه برای این‌که اطلاعات رو عمداً از خود سشن بکشی بیرون و سشن کاری رو تو منطقهٔ باهوش نگه داری.

نکات کلیدی:

• پنجرهٔ context دو بخش داره: منطقهٔ باهوش و منطقهٔ خنگ، با مرزی حدود ۱۰۰ هزار توکن
• عدد تبلیغ‌شدهٔ ۲۰۰ هزار تا دو میلیون توکن بیشتر یه عدد بازاریابیه؛ context مؤثر کسری از اونه
• ایجنت‌های کدنویسی خیلی سریع context رو می‌سوزونن و راحت می‌رن تو منطقهٔ خنگ
• auto-compact کمک می‌کنه ولی دیر فعال می‌شه و خلاصه‌ش رو هم یه مدل افت‌کرده می‌سازه
• بهتره به context مثل بودجه نگاه کنی و اطلاعات مهم رو توی spec و آرتیفکت بیرونی نگه داری