کدوم کارهای شرکتهای AI «توسعهٔ توانایی» حساب میشه؟
خلاصهٔ کاملتر
Alek Westover و Nathan Sheffield از Redwood Research تو این مقاله یه تعریف پیشنهادی برای capabilities activities دادن، یعنی کارهایی تو شرکتهای AI که توانایی مدلها رو بالا میبرن. ایده اینه که اگه قراره با قانون یا تعهد داوطلبانه سرعت پیشرفت AI رو کنترل کنیم (چیزی که بهش pacing the frontier میگن)، باید مقدار compute ای که صرف این کارها میشه محدود بشه. و برای این کار یه تعریف استاندارد لازمه.
نویسندهها میگن این تعریف باید سه ویژگی داشته باشه: محدود کردنش واقعاً سرعت پیشرفت رو کم کنه، شرکتها نتونن با اسمگذاری دوباره دورش بزنن، و کارشناسها راحت سر طبقهبندیش توافق کنن. فلسفهشون هم اینه که «مثبت کاذب بهتر از منفی کاذبه»، یعنی بهتره یه کار بیخطر اشتباهی توانایی حساب بشه تا برعکس. کارهایی هم که compute کمی مصرف میکنن زیاد مهم نیستن.
طبق این پیشنهاد، همهچیز پیشفرض capabilities حساب میشه، به جز چهار دسته: compute بیکار (کل GPU باید بیکار باشه)، توسعهٔ محصول محدود مثل اضافه کردن AI به Google Docs یا مدلهای تاخوردگی پروتئین، خدمت به مشتریها و کارهای ایمنی محدود. البته خدمت به مشتری استثنا داره: اگه شرکت روی دادههای مشتری آموزش بده، کار توانایی رو به مشتری بسپره، یا خود مشتری با مدل کار تحقیق و توسعهٔ AI انجام بده، دیگه جزو این دسته نیست.
کارهای ایمنی محدود یه فهرست بستهست: ارزیابی alignment، امنیت داخلی شرکت، اجرای monitorها و classifierهای سوءاستفاده، بررسی حوادث misalignment، و چند حوزهٔ تحقیقاتی مشخص مثل interpretability و model organisms. برای این تحقیقات، شرکت باید اول کار برنامهٔ پروژه رو عمومی کنه و آخرش گزارش کامل بده. نکتهٔ مهم اینه که اجرای monitor ایمنی حساب میشه ولی آموزش دادنش جزو تواناییهاست، چون شبیه بهتر کردن هر قابلیت دیگهایه.
خیلی از کارهای ایمنی هم طبق این تعریف توانایی حساب میشن: scalable oversight، ساختن reward model بهتر، RLAIF، آموزش برای مقاومت در برابر jailbreak و درست کردن محیطهای RL. معیار اصلیشون اینه که آیا یه فعالیت مستقیم تو حلقهٔ بهینهسازی (امتحان کردن چند تغییر و انتخاب بهترینش) استفاده میشه یا نه. نویسندهها در آخر از شرکتها میخوان بذارن حسابرسهای مستقل این تقسیم compute رو اندازه بگیرن و منتشر کنن، و به کار Anthropic تو این زمینه بهعنوان یه قدم اولیه اشاره میکنن.
نکات کلیدی:
- هدف: محدود کردن compute صرفشده روی توانایی مدلها برای کند کردن پیشرفت AI.
- همهچیز پیشفرض capabilities هست، جز چهار دسته: compute بیکار، محصول محدود، خدمت به مشتری، ایمنی محدود.
- اجرای monitor و classifier ایمنی محسوب میشه، ولی آموزششون توانایی حساب میشه.
- scalable oversight، RLAIF و درست کردن محیطهای RL جزو capabilities هستن.
- تحقیقات ایمنی فقط با اعلام عمومی برنامه و گزارش نهایی معاف میشن.
- نویسندهها حسابرسی مستقل و امکان بهروزرسانی تعریف رو لازم میدونن.




