آیا ترنسفورمر واقعاً به لایههای فیدفوروارد نیاز داره؟
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
توی این مقالهی arXiv اومده که لایههای فیدفوروارد دوسوم پارامترهای یه ترنسفورمر (بدون احتساب embedding) رو نگه میدارن، ولی تا حالا کسی این معماری رو با یه تست لزوم که همزمان پارامتر، بودجهی محاسباتی و عمق رو کنترل کنه نسنجیده بود. نویسندهها برای همین ترنسفورمرهای دیکودر فقط-توجه — که بهشون Simple Attention Network یا SAN میگن — رو تا ۱۰۵ میلیارد توکن، در بازهی ۶ تا ۸۷ میلیون پارامتر و ۲ تا ۴۸ لایه پیشآموزش دادن و جدا جدا با نسخهی استاندارد مقایسه کردن.
نتیجه دو رو داره. اگه فقط لایههای فیدفوروارد رو سرجاشون حذف کنی، ضرر میکنی: ترنسفورمر استاندارد در عمق برابر ۰.۴۷ نات و در FLOPs برابر ۰.۲۶ نات جلوتره. ولی اگه همون بودجهی آزادشده رو خرج عمق بیشترِ توجه کنی، فاصله عملاً بسته میشه — در پارامتر برابر فقط ۰.۰۰۶ نات، یعنی ۰.۲۷ درصد از خطا. به گفتهی نویسندهها این عدد بین جفتهای seed تا یک در دههزار تکرارپذیره و با بزرگتر شدن بودجه هم کوچیکتر میشه.
جای دقیق ضعف باقیمونده هم مشخص شده: مدلهای فقط-توجه توی جوابهایی که به متن ورودی تکیه دارن بهترن، و همونجایی که دانش باید از خود وزنها بیاد ضعیفترن. طیف وزنها دلیلش رو نشون میده — ماتریسهای مسیریابی (Q/K) خیلی زود تثبیت میشن، ولی ماتریسهای محتوا آروم آروم رتبه جمع میکنن، و با حذف فیدفوروارد این انباشت به پروجکشن خروجی توجه منتقل میشه.
یه نکتهی عملی هم هست: چیزی که استکهای ۴۸ لایهای فقط-توجه رو قابل آموزش نگه میداره QK-normalization ـه، نه لایههای فیدفوروارد و نه گیتینگ رزیدوال. نویسندهها یه تست از پیش ثبتشده هم اجرا کردن که پیشبینی میکرد روی متن وبِ پر از دانش فاصله بین ۰.۰۲ تا ۰.۰۵ نات باشه؛ اندازهگیری روی fineweb-edu عدد ۰.۰۴۰ رو داد. جمعبندیشون اینه که تو همین محدودهی آزمایششده، بقیهی کار رو خودِ توجه انجام میده.
نکات کلیدی:
- حذف سادهی لایههای فیدفوروارد در عمق برابر ۰.۴۷ نات هزینه داره
- انتقال همون بودجه به عمق توجه فاصله رو به ۰.۰۰۶ نات میرسونه
- ضعف باقیمونده فقط توی یادآوری دانش ذخیرهشده در وزنهاست
- QK-normalization کلید آموزشپذیریِ استکهای عمیق فقط-توجهست
- تست از پیش ثبتشده روی fineweb-edu فاصلهی ۰.۰۴۰ نات رو تأیید کرد
