‏Wall Attention: واریانتی از توجه با فراموشیِ کانال‌به‌کانال

Wall Attention یه واریانتِ مکانیزمِ توجهه که ایدهٔ اصلیش یه زوالِ ضربیِ کانال‌به‌کانال و گام‌به‌گام ـه که مستقیم داخلِ ضربِ داخلیِ Q و K جاسازی شده. جایی که توجهِ استاندارد امتیازِ یه زوج موقعیت رو با مجموعِ سادهٔ ضربِ کانال‌ها می‌سازه، Wall Attention هر کانال رو با یه زوالِ یادگرفته‌شده که بین دو موقعیت انباشته می‌شه وزن می‌ده. نتیجه اینه که هر کانالِ کوئری یه نرخِ فراموشیِ مستقل و وابسته به محتوا پیدا می‌کنه.

به گفتهٔ توسعه‌دهنده، این کار گیتینگِ اسکالر (مثل FoX) و زوال‌های سبکِ RoPE رو به کلِ بُعدِ کانال تعمیم می‌ده. نکتهٔ جالب اینه که اگه زوال (g) رو صفر بذاری، دقیقاً به همون توجهِ softmaxِ معمولی برمی‌گردی؛ پس این مکانیزم یه حالتِ کلی‌تره که توجهِ استاندارد یه نمونهٔ خاصش حساب می‌شه.