چرا مدلهای هوش مصنوعی بعد از عرضه باهوشتر نمیشن؟
هوش مصنوعیخلاصهٔ کاملتر
شان گودکه تو مقالهش از یه سؤال ساده شروع میکنه: چرا مدلها بعد از عرضه دیگه باهوشتر نمیشن؟ آدمی که استخدام میکنی بهمرور با سیستمهای شرکت آشنا میشه و آخرش متخصص دامنه میشه، ولی مدل دقیقاً همونقدر توانا میمونه که لحظهٔ اول بود. دلیلش اینه که وزنهای مدل موقع انتشار فریز میشن و مدل فقط تا جایی میتونه یاد بگیره که تو پنجرهٔ کانتکست جا شه — یه حافظهٔ کاریِ کوتاهمدت، نه حافظهٔ بلندمدت.
به گفتهٔ نویسنده، مکانیزمِ ماجرا اصلاً سخت نیست: عوضکردن وزنها موقع اجرا همون فرآیند پسآموزشیه که لابها همین الان دارن و صرفاً موقع عرضهٔ مدل متوقفش میکنن. سختی جای دیگهست — اینکه تغییر وزنها مدل رو بهتر کنه نه بدتر. اون معتقده آموزش یه فرآیند شکنندهٔ نیازمند نظارت انسانه و حتی عنصر شانس هم توش هست؛ همون مدل با دیتاست یا seed متفاوت، مدلهای متفاوتی درمیآد.
امید اصلی این بود که مدل بهمرور کدبیس خودتو یاد بگیره، ولی تو مقاله اومده که فاینتیون روی یه ریپازیتوری این کارو نمیکنه؛ چیزی که تو ۲۰۲۳ قدم بعدیِ بدیهی به نظر میرسید، تهکشید. نویسنده چند احتمال میذاره: کوچیکبودن هر تکه از دادهٔ آموزشی، عمقنداشتن فاینتیونِ LoRA، یا اینکه کدبیس باید خیلی زودتر تو فرآیند آموزش وارد بشه. حرفش اینه که وقتی فاینتیونِ عمدی جواب نمیده، از یه نسخهٔ خودکار و سرهمبندیشدهش چه انتظاری میشه داشت.
بخش نگرانکنندهتر امنیته. اگه prompt injection الان یه دردسر واقعیه، تزریق به خودِ وزنها خیلی بدتره: مهاجم بهجای اینکه امیدوار باشه همین حالا به مدلِ درست با دسترسیِ درست بخوره، میتونه تور پهن کنه و منتظر بمونه تا روزی اون مدل به چیز حساسی مثل قابلیت پرداخت برسه. پژوهش Anthropic هم نشون داده مسمومکردن یه مدل شاید دادهٔ چندانی لازم نداشته باشه، و ماجرای فاجعهبار چتبات Tay مایکروسافت هم اونقدرها قدیمی نیست.
یه مشکل محصولیِ سادهتر هم هست: هرچی مدل از کدبیس تو یاد گرفته، تو وزنهاش کدگذاری شده. پس وقتی نسخهٔ بعدی مدل میآد یا باید همهشو از دست بدی یا امیدوار باشی آداپتر LoRA روی معماری جدید هم کار کنه — و این یه انگیزهٔ بد میسازه که کاربر روی مدل قدیمی بمونه. جمعبندی نویسنده اینه که بخش سختِ ماجرا «پیوسته» بودن نیست، «خودکار» بودنشه.
نکات کلیدی:
- وزنها موقع عرضه فریز میشن؛ مدل فقط تو پنجرهٔ کانتکست «یاد میگیره»، نه تو حافظهٔ بلندمدت
- تغییر وزنها موقع اجرا از نظر فنی سادهست؛ سختی اینه که نتیجه بهتر بشه نه بدتر
- آموزش عنصر شانس داره: همون مدل با seed متفاوت، مدلی با تواناییهای متفاوت درمیآد
- فاینتیون روی یه ریپازیتوری، درک واقعی از اون کدبیس به مدل نمیده
- یادگیری پیوسته سطح حملهٔ تازهای باز میکنه: مسمومکردن وزنها بهجای پرامپت
- مدلِ یادگیرندهٔ اختصاصی رو نمیشه به نسخهٔ بعدی مهاجرت داد
