‏روتینگ هوشمند Databricks برای ایجنت‌های کدنویسی

دیتابریکس Smart Routing رو به‌صورت Beta توی Unity AI Gateway راه انداخته: به‌جای اینکه هر تسک کدنویسی به گرون‌ترین مدل بره، خود سیستم بر اساس پیچیدگی کار مدل مناسبش رو انتخاب می‌کنه. تو این پست اومده که فقط تو سال ۲۰۲۶، ۳۳ مدل جدید منتشر شده و همین انتخاب رو برای توسعه‌دهنده‌ها سخت کرده — خیلی‌ها هم بی‌خیال انتخاب شدن و همیشه قوی‌ترین مدل رو با بالاترین effort می‌ذارن و می‌رن.

نویسنده‌ها دو جور روتینگ رو مقایسه می‌کنن. تو per-request routing هر پیام جدا بررسی می‌شه، ولی مشکلش اینه که تو مقیاس بزرگ، هزینه رو cache hit rate تعیین می‌کنه — یعنی اینکه چقدر از context قبلیِ سشن دوباره استفاده بشه — و عوض‌کردن مدل بین نوبت‌های پشت‌سرهم این کش رو خراب می‌کنه. برای همین دیتابریکس سراغ task-aware routing رفته: اول سشن پیچیدگی کل تسک سنجیده می‌شه و تا آخر همون مدل می‌مونه.

مکانیزمش اینه که یه مدل ارزون و کم‌تأخیر شرح تسک رو می‌خونه و چند برچسب معنایی بهش می‌ده: کدوم بخش سیستم عوض می‌شه، پرامپت چه شواهدی از کد داره (اسنیپت، traceback یا هیچی)، خرابی چه شکلیه و فیکس چقدر موضعیه. روتر از روی این برچسب‌ها یه مدل متوسط رو پیش‌فرض می‌گیره و بسته به سختی کار می‌ره بالاتر یا پایین‌تر. جالب اینکه هیچ اطلاعاتی از مخزن کد، تست‌ها یا جواب به روتر داده نشده و باز هم خوب انتخاب کرده.

نتیجه‌ها طبق گزارش دیتابریکس: روی بارکاری داخلی، Smart Routing از هر مدل تکی بهتر عمل کرده، اونم با ۶۵٪ هزینهٔ هر تسکِ مدلی مثل Opus 5؛ روی بنچمارک‌های عمومی هم با کمتر از نصف هزینه به همون کیفیت Opus 5 رسیده. Smart Routing مستقیم تو Claude Code و Codex کار می‌کنه، و با Omnigent — متا-هارنسِ خود دیتابریکس — علاوه بر مدل، خود harness هم برای هر تسک انتخاب می‌شه. لانچ ساب‌ایجنت‌ها هم از همین API رد می‌شه.

نویسنده‌ها خودشون می‌گن هنوز جای کار زیاده. پرامپت اول کاربر معمولاً دقیق نیست و بیشتر یه علامت یا نیت خامه، ولی روتر همون رو می‌خونه و تصمیمش رو قفل می‌کنه؛ سشن‌ها هم بازاستفاده می‌شن، پس تصمیمی که برای درخواست اول درست بوده تا درخواست چهارم غلط از آب درمیاد. برنامه‌شون اینه که اول سراغ کارهایی برن که از ابتدا کامل مشخصن — ریویو PR، ساب‌ایجنت‌ها، مایگریشن‌های دسته‌ای و جاب‌های زمان‌بندی‌شده — و بعد روتینگ رو به بعد از چند تبادل منتقل کنن.

نکات کلیدی:

• Smart Routing از الان به‌صورت Beta توی Unity AI Gateway در دسترسه
• ۳۵٪ صرفه‌جویی روی بنچمارک داخلی دیتابریکس و ۵۶٪ روی بنچمارک‌های عمومی
• روی بارکاری داخلی، هزینهٔ هر تسک ۶۵٪ هزینهٔ Opus 5 بوده با کیفیت بهتر از هر مدل تکی
• روتینگ task-aware انتخاب شده تا cache hit rate بین نوبت‌ها حفظ بشه
• با Omnigent (نسخهٔ v0.9.0 به بالا) هم مدل و هم harness روت می‌شه