‏MOLT Sinai: بیمارستانی که کد می‌نویسه

تیم Cockroach Labs تعریف می‌کنه که MOLT، ابزاری که دیتابیس‌ها رو به CockroachDB منتقل می‌کنه، بین عصر چهارشنبه تا بعدازظهر جمعه پشتیبانی از IBM Db2 رو گرفت. این کار شامل یه schema converter جدید، مسیرهای Fetch و Verify، یه گرامر ANTLR و بیش از ده هزار خط fixture تست بود. هیچ آدمی کدی ننوشت و هزینهٔ توکن ۴۱۷۲ دلار شد. اضافه کردن Oracle تو ۲۰۲۴ نه ماه طول کشیده بود و حدود ۱۶۰ هزار دلار خرج داشت؛ یعنی این بار ۱۶۴ برابر سریع‌تر و ۳۸ برابر ارزون‌تر.

پشت این کار سیستمی به اسم MOLT Sinai هست که با الگوی بیمارستان آموزشی ساخته شده: issueها بیمارن، merge یعنی ترخیص و آدم‌ها «رئیس بخش» هستن. تیم می‌گه بیشتر سیستم‌های ایجنتی مثل Gas Town برای سرعت بهینه شدن. ولی برای ابزاری که یه باگ ریزش می‌تونه داده‌های مشتری رو خراب کنه، سؤال درست اینه که «چندتا از این PRها رو خودمون خجالت می‌کشیدیم merge کنیم؟». همه‌چیز روی GitHub Actions اجرا می‌شه و هر مرحله با یه label روی issue شروع می‌شه.

امنیت سیستم از چندتا قانون ساده میاد. هیچ کدی قبل از برنامه نوشته نمی‌شه و هر برنامه رو یه Review Attending تأیید می‌کنه، یعنی یه ایجنت جدا که کارش فقط پیدا کردن ایراده. ایجنت حق نداره تست رو برای پاس شدن ضعیف یا غیرفعال کنه. وقتی گیر می‌کنه، به جای تلاش بیشتر یه handoff ساختاریافته به اسم I-PASS می‌نویسه که از بیمارستان‌ها قرض گرفته شده. قبل از merge هم Discharge Nurse چک می‌کنه که بررسی درست انجام شده باشه.

بین ۲۱ آوریل تا ۱۱ سپتامبر، این پایپ‌لاین بیش از یه میلیون خط کد merge کرد و ۱۲۹۹ issue، یعنی تقریباً نصف کل issueها، رو خود سیستم ساخت. مجموع هزینه حدود ۱۳۵ هزار دلار توکن Claude بوده، یعنی میانگین ۸۴ دلار برای هر issue. برنامه‌ریزی با مدل Fable انجام می‌شه و خود برنامه انتخاب می‌کنه پیاده‌سازی با Sonnet باشه یا Opus. حدود ۸۵٪ از ۱۵۷۰ کامیت ریپوی Sinai رو هم خود پایپ‌لاین نوشته.

همه‌چیز هم خوب پیش نرفته. فایل‌های skill، یعنی دستورالعمل‌های Markdown هر نقش، مثل کد قدیمی شلوغ شدن: از حدود ۱۰۰ هزار کلمه، ۲۳٪ تکراری و قابل حذف بود. سیستم گاهی زیادی بوروکراتیکه؛ یه تغییر یک‌کلمه‌ای تو متن UI پنج دور rework خورد و یه فیکس یک‌خطی یازده دور. حالا بعد از چهار دور پشت‌سرهم با ایراد جدید، کار به Attending می‌ره. تیم می‌گه این سیستم به جونیورها چیزی یاد نمی‌ده و دارن روش کار می‌کنن. درستی کد Db2 هم هنوز باید تأیید بشه، چون هیچ آدمی بررسیش نکرده بود.

نکات کلیدی:

• پشتیبانی Db2 در MOLT تو کمتر از دو روز و با ۴۱۷۲ دلار ساخته شد، در برابر ۹ ماه و حدود ۱۶۰ هزار دلار برای Oracle.
• پروژهٔ Db2 به ۳۲ زیر-issue و ۲۷ PR merge‌شده تقسیم شد و reviewer ها ۵۵ بار کار رو برگردوندن.
• هر تغییری که بیش از ۱۰۰۰ خط بشه، باید به زیر-issue هایی با گراف وابستگی شکسته بشه.
• در حدود پنج ماه، هزینه حدود ۱۳۵ هزار دلار بوده، یعنی میانگین ۸۴ دلار برای هر issue.
• ۲۳٪ از حدود ۱۰۰ هزار کلمهٔ فایل‌های skill تکراری و قابل حذف بود.
• کد Db2 بدون بررسی انسانی ساخته شده و تیم هنوز داره درستیش رو تأیید می‌کنه.