وقتی مدل، کل استک رو می‌بلعه
هوش مصنوعیخلاصهٔ کامل‌تر
درس تلخ ساتن می‌گه روش‌های عمومی که با محاسبات مقیاس می‌گیرن، آخرش دانش دامنه‌ی دست‌ساز رو کنار می‌زنن. تو این مقاله‌ی تازه همین درس روی دیتا ایجنت‌ها پیاده شده: هرچی LLMها بهتر بشن، داربستی (scaffolding) که محققا چند سال دورشون ساختن رو می‌بلعن. نویسنده‌ی این پست هم مقاله رو مرور می‌کنه و هم با بخشی ازش حسابی سرشاخ میشه.
بخش ارزیابی همین رو نشون می‌ده. یه ایجنت کدنویسی عمومی (هارنس Codex بدون هیچ مهندسی مخصوص تسک) رو گذاشتن مقابل دیتا ایجنت‌های دست‌ساز روی دو بنچمارک TAG-Bench و DAB، با مدل یکسان تو هر دو طرف تا فقط داربست متغیر باشه. با o3، ایجنت دست‌ساز Agentar-Scale-SQL هم تو دقت و هم تو بهره‌وری توکن جلو بود؛ با GPT-5.6 Sol ورق برمی‌گرده و ایجنت ساده تو هر دو می‌بره. تعداد رفت‌وبرگشت‌های لازم هم از ۲۳.۲ به ۶.۰ می‌افته.
ولی این سرعت، گلوگاه جدید لو می‌ده. کاوش اسکیما از ۱۶٪ نوبت‌ها با o3 به ۲۵٪ با GPT-5.6 Sol می‌رسه؛ از نظر عدد مطلق کوچیک‌تر شده ولی حالا بزرگ‌ترین تکه‌ی باقی‌مونده‌ست. تحلیل خطا هم همین رو می‌گه: وقتی خطاهای اجرا و کدنویسی تقریباً حذف شدن، بیشتر از ۶۰٪ شکست‌های باقی‌مونده معنایی‌ان. مدل باهوش‌تر شده ولی هنوز تعریف‌های عجیب‌وغریب کسب‌وکار تو، کلیدهای join و اسکیمای مستندنشده‌ت رو نمی‌دونه.
راه‌حلی که تست کردن ساده‌ست: گذاشتن خود AI با گشتن تو دیتابیس‌ها و ۱۲ کوئری نمونه، یه سند کانتکست ماندگار برای خودش بنویسه و اون متن به پرامپت اولیه تزریق بشه. دقت تا ۱۹ واحد درصد بالا می‌ره. ولی قیمتش تو همون آزمایش کوچیک هم کم نیست: کانتکست متمرکز روی اسکیما نزدیک یه ساعت (۳۴۰۰ ثانیه) و ۹.۶۰ دلار خرج برداشته و GEPA هم ۱۲.۱۶ دلار. برای یه سازمان با ترابایت داده و هزاران جدول، این عدد سر به فلک می‌کشه.
مقاله پیشنهاد می‌ده این لایه‌ی کانتکست معنایی آفلاین ساخته بشه، تو خود دیتابیس ذخیره بشه و به ایجنت سرو بشه تا کاوش تکراری نکنه. نویسنده‌ی پست اما همین بخش رو ضعیف‌ترین قسمت می‌دونه و می‌گه فقط دسته‌بندی‌های کلی مثل «دامنه‌ی سازگاری» رو ردیف کرده بدون راه‌حل فنی. ایراد عمیق‌ترش هم اینه: اگه خود مقاله نشون داده ایجنت می‌تونه کانتکست خودش رو بنویسه، پس چرا جامعه‌ی دیتابیس باید این لایه رو بسازه؟
پیشنهاد خود نویسنده استفاده از TLA+ تو این لایه‌ست. به نظر او TLA+ ته‌ش نظریه‌ی مجموعه‌ها به‌علاوه‌ی منطق زمانیه، پس می‌تونه ویژگی‌های اسکیما و وابستگی‌های ساختاری رو مدل کنه. اون‌وقت به‌جای کانتکست معنایی به شکل متن Markdown، ایجنت قانون‌های کسب‌وکار رو به رابطه‌های صریح ترجمه می‌کنه و اگه یه متریک عوض شد، سیستم دقیقاً می‌گه کدوم وابستگی پایین‌دستی می‌شکنه. حتی قبل از اجرای کوئری هم میشه منطق پیشنهادی رو مقابل ناورداها چک کرد.
نکات کلیدی:
- با o3 ایجنت دست‌ساز Agentar-Scale-SQL برنده بود، با GPT-5.6 Sol ایجنت کدنویسی ساده جلو زد
- رفت‌وبرگشت لازم برای حل یه کوئری از ۲۳.۲ با o3 به ۶.۰ با GPT-5.6 Sol رسید
- بیشتر از ۶۰٪ شکست‌های باقی‌مونده معنایی‌ان، نه اجرایی یا کدنویسی
- کانتکست خودنوشت AI دقت رو تا ۱۹ واحد درصد بالا برد، ولی ساختش ۹.۶۰ دلار و ۳۴۰۰ ثانیه خرج داشت
- نویسنده‌ی پست می‌گه ارزون‌تر شدن هر کوئری یعنی پارادوکس جوونز: ایجنت‌های بیشتری به داده وصل می‌شن و بار همچنان انفجاریه
