‏Revolut با مدل self-hosted هزینه‌ی کدنویسی با AI رو ده برابر کم کرد

دیوید ابیتبول، مسئول عملیات و زیرساخت Revolut، تو کنفرانس AI Engineer نیویورک تعریف کرده که این فین‌تک بریتانیایی چطور هزینه‌ی inference (یعنی اجرای مدل برای جواب دادن به درخواست‌ها) ابزارهای کدنویسی‌ش رو حدود ۹۰ درصد پایین آورده. قبلش Revolut اوایل ۲۰۲۵ سراغ Gemini و اوایل ۲۰۲۶ سراغ Claude Code رفته بود. به گفته‌ی ابیتبول، بعضی مهندس‌ها ماهی ۱۰۰۰ تا ۱۰ هزار دلار خرج می‌کردن بدون اینکه بازده‌ی درست‌وحسابی داشته باشه، برای همین سقف بودجه‌ی سخت‌گیرانه گذاشته بودن.

همین محدودیت توکن باعث شد برن سراغ self-hosting. اجرای GLM-5.1 (مدل open-weights شرکت چینی Z.ai) با حدود ۰.۳ دلار برای هر میلیون توکن، تقریباً یک‌دهم Codex یا Claude Code درمی‌اومد. حالا هم روی GLM-5.3 هستن و حدود ۲۰۰۰ مهندس ازش استفاده می‌کنن. Revolut می‌گه زمان کدنویسی ۶۰ درصد و lead time ۷۰ درصد بهتر شده. ولی نکته‌ی جالب اینه که به گفته‌ی ابیتبول، گلوگاه اصلی خود کد نبود. بیشترین سود از این اومد که AI دیباگ و تیکت‌های Jira و Confluence رو هم دست بگیره، چون دیگه لازم نبود توکن‌ها رو برای سخت‌ترین کار آخر فصل نگه دارن.

GLM مدل کوچیکی نیست: حدود ۷۵۴ میلیارد پارامتر داره که برای هر توکن ۴۰ میلیاردش فعال می‌شه. فقط برای نگه داشتن وزن‌ها حدود ۳۸۰ گیگابایت حافظه‌ی GPU لازمه، و برای هر کاربر هم ۶ تا ۲۶ گیگ دیگه برای context. Revolut این مدل رو روی ۵۶ تا GPU مدل Nvidia B200 سرو می‌کنه. ولی ابیتبول می‌گه بیشترین بهبود از اضافه کردن GPU نبود، بلکه از تنظیم پارامترهای مدل، کوانتیزه کردن با NVFP4 (یعنی ذخیره‌ی وزن‌ها با دقت ۴ بیتی)، جدا کردن مرحله‌ی prefill از decode و تنظیم طول context اومد.

یه درس مهم‌شون درباره‌ی context بود. ابیتبول صریحاً گفته «long context یه کلاه‌برداریه»: با اینکه می‌شه یک میلیون توکن سرو کرد، به نظرش ۲۵۶ هزار توکن همون چیزیه که واقعاً لازمه. با این تنظیمات به time to first token زیر ۳ ثانیه (یعنی فاصله‌ی فرستادن درخواست تا اومدن اولین کلمه‌ی جواب) و سرعت تولید حدود ۲۰۰ توکن در ثانیه رسیدن. به گفته‌ی خودش اگه این زمان از ۵ ثانیه بیشتر بشه، اسلکش پر از شکایت می‌شه. سرعت بالاتر هم براشون مهم نیست، چون مهندس‌ها کارها رو موازی اجرا می‌کنن و آخرش سر می‌زنن.

GLM هنوز کامل جای GPT و Claude رو نگرفته. چون فقط متنی هست، برای کارهای UI مناسب نیست و Revolut با یه model router درخواست‌های تصویری رو به Gemini یا GPT Luna می‌فرسته. درباره‌ی نگرانی امنیتی مدل‌های چینی هم ابیتبول می‌گه مشکل اصلی استفاده از APIهایی هست که از چین سرو می‌شن. وقتی مدل روی سرور خودت یا کلاد منطقه‌ای اجرا بشه، جای نگرانی نیست.

نکات کلیدی:

• هزینه‌ی کدنویسی با AI تو Revolut حدود ۹۰ درصد (۱۰ برابر) کم شده
• مدل فعلی GLM-5.3 هست که روی ۵۶ تا Nvidia B200 اجرا می‌شه
• هزینه‌ی self-hosting حدود ۰.۳ دلار برای هر میلیون توکن بوده
• هدف: time to first token زیر ۳ ثانیه و حدود ۲۰۰ توکن در ثانیه با context حدود ۲۵۶ هزار توکن
• درخواست‌های تصویری با model router به Gemini یا GPT Luna می‌رن