NCM واقعاً از LLMهای معمولی سریع‌تره؟
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
مقالهٔ NCM یا Next Concept Modeling از استنفورد ادعا کرده بود یه روش تازه برای تولید متن پیدا کرده که خیلی سریع‌تره. تو این مقاله اومده که یه تیم، نتایج رو روی یه DGX Spark دوباره تست کرده و یه مقایسه‌ای انجام داده که خود مقالهٔ اصلی هیچ‌وقت انجامش نداده بود: مقایسه با یه مدل autoregressive هم‌اندازه، یعنی همون مدل‌هایی که کلمه به کلمه جواب رو می‌نویسن و پشت بیشتر چت‌بات‌ها هستن.
مدل‌های autoregressive برای یه جواب هزار توکنی، هزار قدم پشت سر هم برمی‌دارن و تو هر قدم کل وزن‌های مدل باید از حافظهٔ GPU رد بشه. پس سرعت بیشتر به پهنای باند حافظه بستگی داره تا قدرت محاسبه. NCM فرق داره: یه compressor متن رو به چند لایه از کدها تبدیل می‌کنه. این کدها از یه واژگان حدوداً ۴۰۰۰تایی میان و مقاله بهشون می‌گه «concept». لایهٔ بالا فقط چندتا کد داره، یعنی یه طرح کلی و مبهم از کل جواب، و هر لایهٔ پایین‌تر جزئیات بیشتری اضافه می‌کنه.
بعد یه transformer معمولی تو هر pass کل یه لایه رو یه‌جا پیش‌بینی می‌کنه. یعنی جوابی که ۹ لایه داره، صرف‌نظر از طولش، با ۹ pass تموم میشه. مثلاً یه ترجمهٔ آلمانی به انگلیسی تو تست‌ها ۱۱ pass طول کشید. فرقش با مدل‌های diffusion مثل Mercury اینه که اونا تو هر pass به همهٔ جایگاه‌های متن دست می‌زنن و معمولاً ۶۴ pass یا بیشتر لازم دارن، ولی passهای اول NCM خیلی کوچیک و ارزونن. مقالهٔ اصلی گفته بود NCM تو خلاصه‌سازی خبر ۳۱ برابر از بهترین مدل diffusion سریع‌تره، ولی فقط با diffusion مقایسه شده بود.
نتیجهٔ تست مستقل: با یه درخواست در لحظه، NCM تو ترجمه حدود ۴ برابر و تو خلاصه‌سازی مقاله‌های بلند حدود ۲ برابر سریع‌تر بود. ولی با ۶۴ درخواست هم‌زمان ورق برگشت. تو حالت batch، وزن‌ها یه بار برای کل دسته لود می‌شن و گلوگاه میشه خود محاسبه. اینجا NCM کم میاره، چون تو کل لایه‌هاش حدود ۴ برابر تعداد کلمه‌های نهایی جایگاه پردازش می‌کنه. کد منتشرشده هم تو هر pass کل prompt رو از اول پردازش می‌کنه. یعنی اگه چند کاربر یا چند agent هم‌زمان داری، این عدد از عددهای تک‌درخواستی مهم‌تره.
ادعای پرسروصدای مقاله این بود که NCM تو ۸۶ درصد سودوکوهای سخت موفقه و مدل autoregressive هم‌اندازه فقط ۱ درصد. عدد ۸۶ درصد تو تست تکرار شد. ولی یه مدل diffusion هم‌اندازه که از صفر روی همین پازل‌ها آموزش دیده بود، با پر کردن تصادفی خونه‌ها حدود یه چهارم رو حل کرد، و وقتی اول مطمئن‌ترین خونه رو پر کرد به نزدیک NCM رسید. با passهای بیشتر حتی به ۹۵ درصد رسید. نویسنده می‌گه پس فاصلهٔ بزرگ بیشتر به ترتیب decode برمی‌گرده، هرچند NCM این رفتار رو به‌صورت پیش‌فرض داره و diffusion یه ترفند اضافه لازم داشت.
محدودیت‌ها هم کم نیستن: خروجی همیشه اندازهٔ ثابت داره و حتی جواب یه‌خطی هم کل هزینه رو می‌ده، compressor گاهی اسم‌ها و عددها رو جابه‌جا می‌کنه، بزرگ‌ترین مدل زیر ۱ میلیارد پارامتره، کد آموزش منتشر نشده و کش prompt درست کار نکرد. streaming هم ممکن نیست، چون تا pass آخر هیچی قابل خوندن نیست.
نکات کلیدی:
- NCM برای یه درخواست حدود ۴ برابر تو ترجمه و ۲ برابر تو خلاصه‌سازی از مدل autoregressive هم‌اندازه سریع‌تره.
- با batch ۶۴تایی، مدل autoregressive معمولی از NCM جلو می‌زنه.
- NCM حدود ۴ برابر تعداد کلمه‌های خروجی، جایگاه پردازش می‌کنه و همین تو batch ضربه می‌زنه.
- مدل diffusion هم‌اندازه با decode از مطمئن‌ترین خونه به نزدیک ۸۶ درصد NCM تو سودوکو رسید و با passهای بیشتر به ۹۵ درصد.
- بزرگ‌ترین مدل NCM زیر ۱ میلیارد پارامتره، کد آموزش نداره و streaming پشتیبانی نمی‌شه.
