‏GLM 5.2؛ ۷۴۴ میلیارد پارامتر و ۲۵۶ متخصص در هر لایه

به گفتهٔ نویسنده، وقتی Zhipu AI مدل GLM 5.2 رو منتشر کرد، بحث غالب غرب سر این بود که کدوم مدل اختصاصی تخت بنچمارک بعدی رو می‌گیره. GLM مخفف General Language Model‌ه و این خانواده از حدود ۲۰۲۱ در شرکت Zhipu AI (با پیوند نزدیک به دانشگاه Tsinghua) در حال توسعه‌ست. نسخهٔ ۵.۲ وزن‌هاش عمومیه، یعنی می‌شه دانلودش کرد، محلی اجراش کرد، روی دادهٔ اختصاصی فاین‌تیونش کرد و رفتارش رو بررسی کرد — کاری که با مدل‌های فقط‌ـAPI شدنی نیست.

نکتهٔ معماری‌ش تعداد متخصص‌هاست. تو یه ترنسفورمر چگال هر پارامتر برای هر توکن کار می‌کنه، ولی تو MoE یه مسیریاب فقط زیرمجموعهٔ کوچیکی از متخصص‌های هر لایه رو فعال می‌کنه. Mixtral 8x7B هشت متخصص در هر لایه داشت و به دوتاشون مسیر می‌داد؛ نسل‌های DeepSeek این عدد رو به ۶۴ و بالاتر بردن؛ و ۲۵۶ متخصص GLM 5.2 از ریزدانه‌ترین‌هاییه که تو مدل‌های عمومی دیده شده. نویسنده تأکید می‌کنه موقع ارزیابی اندازهٔ مدل باید سراغ عدد پارامتر فعال رفت، نه فقط کل.

مقاله ادعای «بهتر از مدل‌های مرزی در طراحی» رو هم می‌شکافه و توضیح می‌ده منظور از طراحی چهار چیزه: تولید کد رابط کاربری، دقت در سطح کامپوننت، پایبندی به دیزاین‌سیستم، و استدلال بصری یعنی چیدمانی که ساختارش منطقی باشه نه صرفاً کدی که سینتکسش درسته. تو مقایسه‌های مستقیم، مثل ساخت صفحهٔ قیمت‌گذاری ریسپانسیو با سه ستون کارت، خروجی GLM 5.2 تمیزتر و دقیق‌تر گزارش شده.

تحلیل نویسنده اینه که کار فرانت‌اند ذاتاً چنددامنه‌ایه: هم‌زمان باید ساختار HTML معنایی، منطق چیدمان و specificity در CSS، تعامل جاوااسکریپت، اصول طراحی مثل سلسله‌مراتب بصری و فضای خالی، و دسترس‌پذیری رو در نظر بگیری. مدل چگال این‌ها رو روی همهٔ پارامترهاش میانگین می‌گیره، ولی یه MoE ریزدانه می‌تونه هر جنبه رو به متخصص‌های متفاوت مسیر بده. البته خودش هم می‌گه تأیید دقیق این ماجرا بدون ابزارهای تفسیرپذیری سخته و چیزی که قابل اندازه‌گیریه فقط کیفیت خروجیه.

تو زمینهٔ ایجنت هم مدل خوب ظاهر می‌شه: پیروی از دستور بدون اضافه کردن مرحلهٔ خیالی، فراخوانی درست ابزار، حفظ وضعیت در توالی طولانی و اصلاح مسیر بعد از خطا. یه کاربرد عملی که مقاله مثال می‌زنه، خط لولهٔ طرح‌به‌کده: تحلیل ساختار چیدمان، شناسایی اجزا مثل نوار ناوبری و هیرو و کارت‌ها، تولید کد هر بخش، مونتاژ و بازبینی صفحه، و علامت زدن مشکلات احتمالی دسترس‌پذیری.

برای اجرا هم واقع‌بین می‌مونه: اجرای محلی مدل کامل عملاً به یه سیستم چندکارتی (حدود ۸ تا A100 هشتاد گیگابایتی یا معادلش) نیاز داره که برای آزمایشگاه‌ها و شرکت‌های بزرگ منطقیه ولی برای توسعه‌دهندهٔ تنها نه. مسیر عملی‌تر، API خود Zhipu روی پلتفرم BigModel یا سرویس‌های واسط مدله، و برای سخت‌افزار سبک‌تر هم مدل‌های کوچک‌تر همین خانواده هست.

نکات کلیدی:

• ۷۴۴ میلیارد پارامتر کل با معماری MoE و ۲۵۶ متخصص در هر لایه.
• ریزدانگی بالای متخصص‌ها احتمالاً دلیل برتری‌ش تو کارهای ترکیبی کد و طراحیه.
• تو بنچمارک‌های تولید رابط کاربری با مدل‌های بستهٔ مرزی رقابت می‌کنه یا جلو می‌زنه.
• open-weight‌ه، نه کاملاً متن‌باز: وزن‌ها در دسترسه ولی کد و دادهٔ آموزش نه.
• در برابر DeepSeek-V3 تو فرانت‌اند جلوتره و اون تو مسائل الگوریتمی و ریاضی بهتره.
• اجرای محلی نسخهٔ کامل به سخت‌افزار چندکارتی سنگین نیاز داره.