‏توسعهٔ SGLang با کمک ایجنت؛ تجربه رو به SKILL تبدیل کن

این مطلب یه گزارشِ اولیه از تیم SGLang (یه فریم‌ورک پرکارایی برای سرو مدل‌های زبانی و چندوجهی) دربارهٔ توسعه با کمک ایجنته. نقطهٔ شروعشون اینه که مخزنِ SGLang دیگه فقط تغییر کد نیست؛ از سروِ LLM و رانتایم توزیع‌شده تا کرنل‌های GPU، پایپ‌لاین دیفیوژن و رسیدگی به حوادث پروداکشن رو در بر می‌گیره. قبلاً خیلی از این جریان‌ها به حافظهٔ تک‌تک توسعه‌دهنده‌ها وابسته بود.

به گفتهٔ تیم، حالا این تجربه رو می‌شه به فایل‌های اجراییِ SKILL.md، اسکریپت، قرارداد بنچمارک و حلقهٔ بازبینی تبدیل کرد. یه SKILL خوب باید به چند سؤال جواب بده: کِی ازش استفاده کنیم، چطور شروع کنیم (بررسی‌های پیش‌پرواز و وضعیت محیط)، چطور اعتبارسنجی کنیم (دستور بنچمارک و پروفایل و گیت دقت) و چطور تحویل بدیم (شاخهٔ خروجی، اسکیمای نتیجه و توضیح PR). نکتهٔ کلیدیِ اون‌ها اینه که ارزشِ ایجنت از دانشِ رویه‌ایِ اجراییه، نه از خلاقیتِ کد.

یه استکِ کامل از این اسکیل‌ها هم شکل گرفته: از دیباگ کرش CUDA و بنچمارک منصفانهٔ سرو گرفته تا ظرفیت‌سنجی، تحلیل تریسِ پروفایلر، تحلیل پایپ‌لاین لایه‌به‌لایه، شبیه‌سازیِ محاسباتِ مدل، افزودن مدل دیفیوژن و تریاژِ حوادث پروداکشن. تیم چند PR واقعیِ مرج‌شده رو هم مثال می‌زنه؛ مثلاً حذف توکنایز تکراری تو روتر که TTFT رو تا حدود ۴۹٪ پایین آورد، یا فیوژنِ allreduce که throughput رو حدود ۷۱٪ بالا برد. تو این نمونه‌ها ایجنت عمدتاً کارِ اجرا رو کرده: بنچمارک، خوندن پروفایل، پیداکردن سورس پایتون، تغییر کد و افزودن تست.

بخش پروفایلینگ محوریتِ خاصی داره. به گفتهٔ نویسنده، اشتباه رایج تو کارِ کارایی اینه که فقط به زمان کل نگاه کنی یا با چند دقیقه دیدنِ Perfetto شهودی تصمیم بگیری «این باید فیوز شه»؛ این برای ایجنت خطرناک‌تره چون راحت یه کرنلِ ظاهراً داغ رو با گلوگاه واقعی اشتباه می‌گیره. برای همین دو اسکیل پروفایلر پشت‌سرِ هم کار می‌کنن: اولی تریس کلی رو به جدول‌های ثابتِ کرنل، فرصتِ هم‌پوشانی و الگوی فیوژن تبدیل می‌کنه، و دومی هات‌اسپات‌ها رو به forward pass، نوع لایه و جریان کرنل نسبت می‌ده تا مرحلهٔ پایدار از استارتِ سرد جدا شه.

کارِ طولانی‌مدت هم به چیزی رفته که اسمش رو مهندسیِ حلقه می‌ذارن. مثلاً «حلقهٔ کاراییِ SOTA» کارِ «رسیدن به بهترین نتیجه» رو به مراحلِ بنچمارک منصفانه، تصمیم دربارهٔ فاصله، پروفایل، پچ و اعتبارسنجیِ دوباره می‌شکنه. سیستم Humanize/RLCR یه بازبینِ بیرونی رو هم وارد حلقه می‌کنه، طوری که یه جملهٔ «کار تمومه» برای خروج از حلقه کافی نیست و یه بازبینِ جدا شواهد و ریسک هر دور رو چک می‌کنه. Codex Goal هم همون حلقه رو با هزینهٔ هماهنگیِ کمتر اجرا می‌کنه.

جمع‌بندیِ تیم اینه که با اومدنِ ایجنت‌ها، نقشِ بازبینی پررنگ‌تر می‌شه نه کم‌رنگ‌تر. ایجنت‌ها آزمایش‌های بیشتری می‌زنن، ولی تغییرهای بیشتری هم تولید می‌کنن که به‌ظاهر موجه‌ان و نیاز به بازبینیِ دقیق دارن. پس توسعه‌دهنده‌ها بیشتر مسئولِ تعریفِ مسئله، انتخاب شواهد، طراحیِ جریان کار و تصمیم دربارهٔ آماده‌بودنِ نتیجه برای مسیرِ پروداکشن می‌شن.

نکات کلیدی:

• دانشِ رویه‌ایِ توسعهٔ SGLang به فایل‌های اجراییِ SKILL.md، اسکریپت و قرارداد بنچمارک تبدیل شده
• به گفتهٔ تیم، ارزشِ ایجنت از دانشِ رویه‌ایِ اجراییه، نه از خودِ نوشتن کد
• شواهدِ پروفایل محورِ کارِ کاراییه و دو اسکیل پروفایلر پشت‌سرِ هم گلوگاه رو دقیق می‌کنن
• کارِ طولانی‌مدت به «مهندسیِ حلقه» با بازبینِ بیرونی رفته که فقط با «کار تمومه» بسته نمی‌شه
• با ایجنت‌ها نقشِ بازبینیِ انسانی مهم‌تر می‌شه چون تغییرهای موجه‌نمای بیشتری تولید می‌شن