چرا مدلهای زبانی اینقدر پیچیده شدن؟
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
نویسنده با یه خاطره شروع میکنه: حدود ۲۰۲۲ و ۲۰۲۳ تو متا دو شاخهٔ یادگیری ماشین بود؛ کار مدلهای زبانی که به Llama رسید یه پشتهٔ تمیز و ساده از ماژولهای ترنسفورمر بود، ولی گراف سیستمهای توصیهگر ترسناک بود. به شوخی میگه صنعت این وضع رو «درست» کرد؛ با پیچیدهکردن حسابیِ خودِ مدلهای زبانی.
به گفتهٔ نویسنده، توجه شاید همون چیزی باشه که لازم داری، ولی مدلهای امروزی از کلی گونهٔ مختلفش استفاده میکنن: گروهبندی پرسوجو، فشرده، تُنُک، خطی، پنجرهٔ لغزان و بیشتر. مسیریابی MoE به لایههای پیشخور اضافه شد و از اون به بعد تقریباً همهچی مسیریابی شد. رمزگذارهای تصویر و صدا هم از حالت «چسباندهشده» به «آمیخته» رسیدن و اجرای چندکارتی هم عملیات ارتباطی رو وسط مدل اضافه کرد.
نویسنده میگه این خیلی فرقی با اتفاقی که تو سیستمهای توصیهگر افتاد نداره. اونجا هم معماری پایه سالها ساده بود و پیچیدگی از کشمکش بین نیاز به توان بیشتر و نیاز به کارایی، مخصوصاً موقع استنتاج، میاومد. همون فشار حالا سراغ مدلهای زبانی هم اومده.
به گفتهٔ او این وسوسه هست که فکر کنیم ایجنتها همهچی رو حل میکنن؛ تعریف PyTorch یا JAX رو میدی و کرنل بهینه تحویل میگیری. ولی برای اینکه مطمئن شی خروجی درسته، به یه مبنای ثابت و قابلاستفاده نیاز داری. مشکل اینه که تو عمل، بهبودهای کارایی «باربر» میشن؛ اگه بخوای یه گونهٔ توجه رو با یکی دیگه عوض کنی، نمیتونی بذاری نسخهٔ جدید یه مرتبه کندتر باشه، وگرنه اصلاً نمیفهمی ارزش بررسی داره یا نه.
نتیجهای که نویسنده میگیره اینه که تنها راه، طراحی برای ترکیبپذیری از همون اوله. یکی از نمونههای موردعلاقهاش FlexAttention تو PyTorchه که یه دستهٔ کامل از عملیات توجه رو میگیره و اجازه میده با تأثیر خیلی کم روی کارایی، براشون کرنل بسازی. آخر هم اشاره میکنه که کارپثی به آنتروپیک پیوسته تا حلقههای پژوهش خودکار بسازه، ولی به گفتهٔ نویسنده توانایی رسوندن معماری به جوهرش و ترکیبپذیر کردنش، بهاندازهٔ یه ایجنتِ باهوش مهمه.
نکات کلیدی:
- مدلهای زبانی از یه پشتهٔ تمیز به معماری پیچیده رسیدن، شبیه مسیری که سیستمهای توصیهگر رفتن
- گونههای زیاد توجه، مسیریابی MoE و اجرای چندکارتی از دلایل این پیچیدگیان
- ساختن خودکار کرنل با ایجنت به یه مبنای ثابت و قابلراستیآزمایی نیاز داره
- راهحل، طراحی برای ترکیبپذیری از همون اوله؛ FlexAttention یه نمونهٔ خوبه
