آموزش شبکهی هزار لایهای بدون Backpropagation
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
مغز آدم نمیتونه از Backpropagation (روش اصلی آموزش شبکههای عصبی که با یه رفتوبرگشت دقیق بین لایهها خطا رو پخش میکنه) استفاده کنه، چون نورونها نمیتونن اینقدر دقیق زمانبندی بشن. پژوهشگرهای Sakana AI یه روش به اسم PC-ALM معرفی کردن که بهجای این رفتوبرگشت، هر لایه فقط با لایههای همسایهی خودش حرف میزنه و کمکم به یه جواب پایدار میرسه.
این روش رو یه تکنیک قدیمیتر به اسم predictive coding (یعنی هر لایه سعی میکنه ورودیش رو پیشبینی کنه و فقط خطای پیشبینی رو به لایهی بعد بفرسته) ساخته شده، ولی predictive coding تو شبکههای عمیق و باریک دچار افت سیگنال میشه و خطا قبل از رسیدن به لایههای اول محو میشه. PC-ALM با اضافهکردن یه متغیر کمکی به هر لایه (که مثل بخش انتگرالگیر یه کنترلر PI عمل میکنه) این افت سیگنال رو جبران میکنه.
تو آزمایشها، PC-ALM تونسته یه شبکهی هزار لایهای رو روی دیتاست MNIST تقریبا همسطح Backpropagation آموزش بده، در حالی که روشهای قبلی محلی حتی به صد لایه هم بهسختی میرسیدن. روی دیتاستهای تصویری مثل CIFAR-10 و Tiny ImageNet هم عملکردش از predictive coding معمولی بهتر بوده.
نویسندهها میگن هدف اصلیشون فهمیدن اینه که مغز چطور بدون Backpropagation یاد میگیره، ولی این روش میتونه روی سختافزارهای نورومورفیک (تراشههایی که مثل مغز کار میکنن) هم مصرف انرژی رو کم کنه. کد و مقالهی کامل این تحقیق رو روی گیتهاب و آرکایو منتشر کردن.
نکات کلیدی:
- Sakana AI روشی به اسم PC-ALM معرفی کرده که بدون Backpropagation، شبکههای عصبی تا هزار لایه رو آموزش میده
- این روش با اضافهکردن یه متغیر کمکی (Lagrange multiplier) به هر لایه، مشکل افت سیگنال predictive coding رو حل میکنه
- روی دیتاست MNIST نتیجهای نزدیک به Backpropagation گرفته و روی CIFAR-10 و Tiny ImageNet هم از predictive coding معمولی بهتر بوده
- هدف اصلی تحقیق، فهم مکانیزم یادگیری مغزه؛ کاربرد جانبیش هم میتونه سختافزار نورومورفیک کممصرف باشه
