‏آزمایش Liquid AI: ایجنت کدنویس بدون نظارت آدم

Liquid AI اواخر ۲۰۲۵ یه آزمایش راه انداخت تا یه سؤال مشخص رو جواب بده: ایجنت‌های کدنویس می‌تونن یه مسئله‌ی در حد production رو از صفر و بدون نظارت آدم حل کنن؟ کاری که انتخاب کردن ساختن یه BPE tokenizer trainer بود، یعنی ابزاری که واژگان توکنایزر رو از روی متن خام آموزش می‌ده. ابزارهای موجود جواب نمی‌دادن: sentencepiece کنده، tokenizers هاگینگ‌فیس روی کورپوس اون‌ها حافظه کم می‌آورد و tiktoken اصلاً قابلیت آموزش نداره.

به گفتهٔ نویسنده این تسک سه ویژگی داشت که آزمون رو صادقانه می‌کرد: در حد production بود، چند حوزه‌ای بود (کسی که هم Rust بلد باشه هم ریزه‌کاری‌های توکنایزر رو، بین مهندس‌هاشون نبود) و از بیرون قابل راستی‌آزمایی بود. دو ایجنت انتخاب شدن، Claude Opus 4.5 و Codex با GPT-5.2. هدف توی یه فایل AGENTS.md/CLAUDE.md کوتاه نوشته شد که فقط خروجی و محدودیت‌ها رو می‌گفت، نه پیاده‌سازی رو؛ محدودیت اصلی هم مصرف حافظه بود.

راستی‌آزمایی دو تیکه داشت که ایجنت نمی‌تونست روش اثر بذاره: دیتاست آموزشی واقعی روی یه ماشین AMD EPYC 9755 با ۱۲۸ هسته و ۲ ترابایت حافظه، و یه harness بیرونی که واژگان تولیدشده باید توی tiktoken و tokenizers هاگینگ‌فیس لود می‌شد و رفت‌وبرگشت encode/decode و تطابق ID بینشون چک می‌شد. اپراتور فقط خروجی این harness رو می‌خوند و حتی یه خط از کد تولیدشده رو نگاه نکرد.

هر دو ایجنت زیر ۳۰ دقیقه یه trainer کارراه‌انداز ساختن که روی چند مگابایت متن تمیز درست کار می‌کرد و تست‌های خودش رو هم پاس می‌کرد. ولی هیچ‌کدوم از پس دیتاست کامل برنیومدن. بعد از بیش از پنج دور تکرار و پیشرفت کم، مسیر Codex/GPT-5.2 کنار گذاشته شد و Claude Opus 4.5 با چند دور دیگه به نسخه‌ای رسید که کل کانفیگ production رو، یعنی تریلیون‌ها توکن داده‌ی چندزبانه و کد، توی چند روز روی یه ماشین اجرا کرد.

درس اصلی این بود که تعیین‌کننده خودِ مدل نبود، حلقه بود. نویسنده می‌گه دو نکته براشون جا افتاد: اول اینکه spec رو باید برای یه متخصص چندحوزه‌ای نوشت، یعنی کوتاه و در حد بیان خروجی و انگیزه‌ی پشت محدودیت‌ها، نه شبه‌کد. دوم اینکه حلقه باید روی داده‌ی واقعی و در مقیاس واقعی بچرخه و سنجه‌ش بیرونی باشه، وگرنه ایجنت فقط تست‌های خودش رو پاس می‌کنه و شما دو پیاده‌سازی داری که بی‌سروصدا خروجی متفاوت می‌دن.

نکات کلیدی:

• خروجی آزمایش toktoktok ـه، یه BPE tokenizer trainer متن‌باز با لایسنس Apache 2.0
• هر دو ایجنت زیر ۳۰ دقیقه نسخه‌ی کوچیک رو ساختن، ولی هیچ‌کدوم روی داده‌ی کامل یک‌ضرب جواب نداد
• مسیر Codex/GPT-5.2 بعد از بیش از پنج دور تکرار کنار گذاشته شد؛ Claude Opus 4.5 کار رو تموم کرد
• سخت‌افزار آزمایش یه AMD EPYC 9755 با ۱۲۸ هسته، ۲۵۶ ترد و ۲ ترابایت رم بود
• راستی‌آزمایی بیرونی با tiktoken و tokenizers هاگینگ‌فیس انجام شد، نه با تست‌های خود ایجنت
• اجرای نهایی تریلیون‌ها توکن داده‌ی چندزبانه و کد رو در چند روز روی یه ماشین آموزش داد