‏با کانکتوم مگس سرکه، احساس صدا رو حدس زدن

تو این آزمایش، ۴۹۹ نورون از مغز مرکزی مگس سرکه (از نسخهٔ MaleCNS v1.0) رو برداشتن و اتصالاتشون رو عیناً تو نرم‌افزار کپی کردن: ۱۵۸۶۵ اتصال که پشتشون ۸۶۷۳۴۴ تماس سیناپسی خوابیده. وزن هر اتصال از تعداد تماس‌ها درمیاد و علامت مثبت یا منفی‌ش رو از حاشیه‌نویسی ناقل عصبی برداشتن. خود نویسنده تأکید داره اینا انتخاب مهندسی‌ان، چون نقشهٔ سیم‌کشی گیرنده و ثابت زمانی هر سلول رو بهت نمی‌ده.

روش کار reservoir computing‌ه، یعنی سیگنال رو از یه شبکهٔ بازگشتی ثابت رد می‌کنی و فقط یه مدل کوچیک یاد می‌گیره جواب اون شبکه رو بخونه. هر ۱۰ میلی‌ثانیه صدا به ۳۲ عدد (باندهای فرکانسی log-mel) تبدیل می‌شه و با یه نگاشت تصادفی ثابت می‌ره تو مدار. حالت هر نورون از رابطهٔ x[t] = (1 − α)x[t−1] + α tanh(Wx[t−1] + Wᵢₙu[t]) با α = ۰.۱۵ به‌روز می‌شه. تنها بخش آموزش‌دیده یه ridge readout با ۳۱ خروجیه.

آموزش روی ۱۶۹۹۵ کلیپ صوتی انجام شد، تنظیمات روی یه مجموعهٔ اعتبارسنجی جدا انتخاب شد و ارزیابی روی ۲۰۲۲ کلیپ تست بود، با این قید که گوینده‌ها بین بخش‌ها همپوشانی ندارن. برچسب‌ها هم قضاوت شنونده‌ان نه احساسی که بازیگر قرار بوده بازی کنه. مدل ۱۵ برچسب احساس و ۱۶ سبک گفتار رو پیش‌بینی می‌کنه و بخشی از ورودی readout مستقیم از ویژگی‌های صوتیه، یعنی لازم نیست همه‌چیز از دل مدار مگس رد شه.

نتیجهٔ اصلی همون چیزیه که انتظارش رو نداری. سیم‌کشی واقعی مگس ۱۶.۸۴ درصد mAP گرفت و نسخه‌ای که مقصد اتصال‌ها رو به‌هم ریخته بودن ۱۶.۸۸ درصد؛ اختلاف جفتی منفی ۰.۰۴ واحد درصد با بازهٔ ۹۵ درصدی از منفی ۰.۱۶ تا مثبت ۰.۰۷. چون خط پایهٔ ثابت ۹.۷۱ درصده، مدل واقعاً چیزی یاد گرفته، ولی به گفتهٔ نویسنده هیچ شاهدی نیست که سیم‌کشی خاص مگس امتیاز باشه.

آزمایش دوم readout آموزش‌دیده رو ثابت نگه می‌داره و نورون‌ها رو خاموش می‌کنه. با خاموش کردن ۵۰ نورونی که بیشترین وزن رو تو readout دارن، mAP تست از ۱۶.۹۱ به ۱۰.۸۳ درصد می‌افته و امتیاز خشم تو یه کلیپ نمونه از مثبت ۰.۲۹ به منفی ۰.۴۳ می‌ره. این با کنترل قبلی تناقض نداره: readout یاد گرفته از ویژگی‌های همین مدار استفاده کنه، پس کندن تکه‌ای از مدار بعد از آموزش طبیعتاً خرابش می‌کنه. نویسنده خودش می‌گه باید با مدارهای مختلف تکرارش کرد.

نکات کلیدی:

• مدار مدل‌شده ۴۹۹ نورون، ۱۵۸۶۵ اتصال و ۸۶۷۳۴۴ تماس سیناپسی داره
• سیم‌کشی واقعی ۱۶.۸۴ درصد mAP، سیم‌کشی به‌هم‌ریخته ۱۶.۸۸ درصد، خط پایهٔ ثابت ۹.۷۱ درصد
• فقط ridge readout آموزش می‌بینه؛ وزن‌های داخل مدار مگس تو کل آموزش ثابت می‌مونن
• خاموش کردن ۵۰ نورون پرتأثیر، mAP رو از ۱۶.۹۱ به ۱۰.۸۳ درصد می‌ندازه
• داده: ۱۶۹۹۵ کلیپ آموزش و ۲۰۲۲ کلیپ تست از CREMA-D و VCTK، بدون همپوشانی گوینده