Quail: یک میلیارد توکن در دقیقه روی یک GPU
هوش مصنوعیخلاصهٔ کامل‌تر
تو این پست فنی، تیم Modal همراه با آزمایشگاه Full Stack Data دانشگاه کارنگی ملون از موتور استنتاج متن‌باز Quail رونمایی می‌کنه؛ موتوری که به‌جای چت‌بات و ایجنت، برای بار کاری AI-SQL ساخته شده. روی یه کوئری چندجوینی که برنامه‌ریزی توش خیلی اهمیت داره، Quail از مرز یک میلیارد توکن پردازش‌شده در دقیقه به ازای هر H100 رد شده، بیش از ۱۰ برابر خط پایهٔ vLLM روی همون سخت‌افزار. روی بنچمارک تازه‌منتشرشدهٔ خودشون هم به‌طور میانگین ۱.۸۴ برابر سریع‌تره.
AI-SQL برعکس چیزیه که خیلی‌ها فکر می‌کنن: بحث تولید SQL از زبان طبیعی نیست، بلکه SQL از داده‌های دیتابیس پرامپت می‌سازه و جواب مدل رو دوباره به جدول برمی‌گردونه. پلتفرم‌های بزرگ تحلیلی مثل Snowflake Cortex، Databricks و BigQuery هرکدوم نسخهٔ خودشون رو دارن. یه نمونهٔ ساده:
SELECT customers.id, products.id
FROM customers JOIN products ON
AI.IF(
PROMPT("{customers.profile} might buy this: {products.description}")
)حرف اصلی نویسنده‌ها اینه که این بار کاری برای موتورهای استنتاج یه موقعیت طلاییه. تو استنتاج معمولی، درخواست‌ها رو کلاینت می‌سازه و هیچ‌وقت معلوم نیست یه ورودی کش KV (همون حافظه‌ای که خروجی لایه‌های قبلی رو نگه می‌داره تا دوباره حساب نشن) کی دوباره لازم میشه. ولی اینجا کلاینت فقط کوئری می‌ده و موتور کل پلن رو از اول می‌بینه، پس دقیقاً می‌دونه کِی یه ورودی دیگه به درد نمی‌خوره و بی‌خیال می‌تونه پاکش کنه.
نکتهٔ دوم اینه که این کوئری‌ها اصلاً مرحلهٔ decode ندارن. تو AI.IF فقط یه جواب درست/نادرست لازمه و همون آخرین پاس prefill یه توکن پیش‌بینی می‌کنه، که کافیه. برای همین Quail سراغ نمونه‌برداری، CUDA Graph، تفکیک prefill/decode و speculative decoding نرفته. حتی چون خروجی فقط ۸ توکن ممکن داره، ستون‌های بقیهٔ واژگان رو از هد مدل حذف کردن تا ضرب ماتریسی آخر کوچیک بشه.
از نظر پیاده‌سازی، پارسر SQL همون sqlglot ـه، ذخیره‌سازی با pyarrow و فرمت ستونی Arrow انجام میشه و موتور اجرا از روی vLLM فورک شده و بعد کرنل‌هاش با Triton بازنویسی و ادغام شدن. برنامه‌ریز کوئری هم بخش اصلی کار بوده: ترتیب جوین‌ها با در نظر گرفتن کش KV انتخاب میشه و یه مدل هزینهٔ «سرعت نور» بر پایهٔ roofline تخمین می‌زنه هر پلن نهایتاً چقدر می‌تونه سریع باشه.
تیم خودش هم می‌گه کار تازه شروع شده و یه جا از vLLM عقب می‌مونه: پردازش دیتاست ردپای ایجنت‌ها، جایی که پیشوندهای مشترک بین سندها زیاده و مدل فعلی نمی‌تونه ازش استفاده کنه. کش KV چندلایه، بهینه‌سازی بین چند کوئری و ایندکس radix برای اشتراک بیشتر، از کارهاییه که برای آینده گذاشتن. نویسنده‌ها اضافه می‌کنن بیشتر این کد با کمک ایجنت‌های کدنویسی نوشته شده و سخت‌ترین بخش دیگه اجرا نبوده، بلکه تعریف درست مسئله و سنجش نتیجه بوده.
نکات کلیدی:
- Quail روی یک H100 از یک میلیارد توکن در دقیقه رد شده؛ روی Modal زیر ۶ سنت به ازای هر میلیارد توکن.
- روی بنچمارک quail-bench به‌طور میانگین هندسی ۱.۸۴ برابر سریع‌تر از vLLM ـه.
- مدل تست‌شده qwen3-4b-fp8 روی یک GPU بوده.
- چون فقط prefill لازمه، نه نمونه‌برداری پیاده شده، نه CUDA Graph، نه speculative decoding.
- هد زبانی مدل به ۸ توکن خروجی محدود شده تا ضرب ماتریسی نهایی کوچیک بمونه.
- تنها مورد باخت به vLLM، دیتاست ردپای ایجنت‌ها با پیشوندهای مشترک زیاده.
