‏Next Concept Model چیه و چطور کار می‌کنه؟

NCM یا Next Concept Model یه معماری تولید متن از استنفورده که کل جواب رو تو چند pass از کلی به جزئی می‌نویسه. نویسندهٔ این مطلب توضیح می‌ده که NCM به‌جای پیش‌بینی توکن بعدی مثل مدل‌های GPT، «concept» پیش‌بینی می‌کنه. این concept‌ها ایدهٔ انسانی نیستن، فقط کدهای فشرده‌سازی هستن که از یه واژگان یادگرفته‌شدهٔ حدوداً ۴۰۰۰تایی میان. NCM مدل diffusion هم نیست، هرچند ایدهٔ کلیش شبیهه: اول طرح بزن، بعد دقیقش کن.

چرا مدل‌های معمولی کندن؟ مدل‌های autoregressive، یعنی همونایی که هر بار یه توکن می‌نویسن و به متن اضافه می‌کنن، برای جواب هزار توکنی هزار قدم پشت سر هم لازم دارن. تو هر قدم GPU باید کل وزن‌های مدل رو از حافظه بکشه بیرون. پس گلوگاه پهنای باند حافظه‌ست نه محاسبه. مدل‌های diffusion مثل Mercury کل صفحه رو یه‌جا تولید می‌کنن و چند بار اصلاحش می‌کنن، ولی هر pass به همهٔ جایگاه‌ها دست می‌زنه و معمولاً ده‌ها pass لازمه.

NCM دو تا بخش داره. compressor یاد می‌گیره متن رو به‌شکل چند لایه کد ذخیره کنه. لایهٔ بالا فقط چندتا کد داره که یه طرح مبهم از کل متنه، هر لایهٔ پایین‌تر جزئیات اضافه می‌کنه و لایهٔ آخر برای هر کلمه یه کد داره. generator یه transformer معمولیه که به‌جای کلمهٔ بعدی، همهٔ کدهای یه لایه رو هم‌زمان پیش‌بینی می‌کنه و می‌ره لایهٔ بعد. پس مدل ۹ لایه‌ای با ۹ pass جواب کامل رو می‌ده، چه یه جمله باشه چه یه پاراگراف. passهای اول هم چون فقط چندتا کد دارن خیلی ارزونن.

سرعت چی؟ مقالهٔ اصلی فقط NCM رو با diffusion مقایسه کرده. تو تست مستقلی که این مطلب بهش اشاره می‌کنه، NCM با یه درخواست در لحظه حدود ۴ برابر تو ترجمه و نزدیک ۲ برابر تو خلاصه‌سازی خبر از مدل autoregressive هم‌اندازه سریع‌تر بود. ولی با ۶۴ درخواست هم‌زمان، مدل معمولی جلو زد. دلیلش اینه که تو batch، GPU وزن‌ها رو یه بار لود می‌کنه و وقتش صرف محاسبه می‌شه، و NCM حدود ۴ برابر تعداد کلمه‌های نهایی جایگاه پردازش می‌کنه. یعنی برای استفادهٔ محلی تک‌کاربره خوبه، ولی برای سرور و agentهای هم‌زمان هنوز برنده نیست.

دربارهٔ سودوکو، مقاله گفته بود NCM بیشتر سودوکوهای سخت رو حل می‌کنه در حالی که مدل autoregressive هم‌اندازه تقریباً هیچی. ولی یه مدل diffusion هم‌اندازه که با ترتیب تصادفی فقط یه چهارم بردها رو حل می‌کرد، وقتی اول مطمئن‌ترین خونه رو پر کرد به نزدیک NCM رسید. نویسنده معتقده این برتری واقعیه ولی خیلی محدودتر از «NCM پازل‌هایی رو حل می‌کنه که LLMها نمی‌تونن».

محدودیت‌ها: خروجی اندازهٔ ثابت داره و جواب یه‌کلمه‌ای هم کل هزینه رو می‌ده، compressor گاهی اسم و عدد رو جابه‌جا می‌کنه، بزرگ‌ترین مدل زیر ۱ میلیارد پارامتره، streaming نداره، کد آموزش منتشر نشده و کش prompt قابل اعتماد نیست. تو جدول‌های خود مقاله هم مدل autoregressive هم‌اندازه تو ترجمه و نوشتن آزاد کیفیت بهتری داشت.

نکات کلیدی:

• concept‌های NCM کدهای فشرده‌سازی از یه واژگان حدوداً ۴۰۰۰تایی هستن، نه ایده‌های معنایی.
• معماری NCM از یه compressor و یه generator از نوع transformer معمولی ساخته شده.
• تعداد passها برابر تعداد لایه‌هاست، مثلاً ۹ pass برای مدل ۹ لایه‌ای، صرف‌نظر از طول جواب.
• برای یه درخواست حدود ۴ برابر سریع‌تر از مدل autoregressive هم‌اندازه‌ست، ولی با batch ۶۴تایی عقب می‌افته.
• بزرگ‌ترین مدل منتشرشده زیر ۱ میلیارد پارامتره و تو کیفیت ترجمه از مدل معمولی ضعیف‌تره.