تینکینگ ماشینز: آیندهای که میارزه بسازیم، انسانیه
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
به گفتهٔ شرکت Thinking Machines، مأموریتش ساختن هوش مصنوعیایه که ارادهٔ و قضاوت انسان رو گسترش بده. تو این بیانیه اومده که هوش مصنوعی هر روز کارهای بیشتری میتونه بکنه، ولی تصمیم دربارهٔ اینکه چیکار باید بکنه، مال ماست. مشکل اینجاست که بیشتر مدلهای امروزی تو چند تا جای خاص آموزش میبینن و بعد فریز میشن؛ یعنی از دست آدمهایی که بهشون خدمت میکنن شکل نمیگیرن و از کار مشترکشون چیز زیادی یاد نمیگیرن.
نویسنده استدلال میکنه که کار آدمها روی دانشی سواره که مدام و بهصورت محلی تولید میشه؛ مثل آشپزی که یه دستور جدید میسازه یا مغازهداری که چیدمان و قیمتها رو عوض میکنه. این دانش ضمنی و پخششدهست و نمیشه تو یه دیتابیس نوشتش. با اشاره به هایک، میگه همین پخشبودن دانش دلیل برتری بازار آزاد بر اقتصاد برنامهریزیشدهست؛ و برای همین هوش مصنوعی هم اگه بخواد از این دانش بهره ببره، خودش باید توزیعشده باشه.
البته میگه یه جاهایی هوش بهتنهایی کافیه؛ مثل شطرنج که موتورها با self-play قوی میشن یا ریاضی که مدلها خودشون قضیه ثابت میکنن. ولی این حوزهها دو تا ویژگی دارن: هدف ثابت و قابلبیانه، و دانش پنهانی توش نیست. بیرون از این تخته، هوش بهتنهایی کافی نیست و باید کنار آدمها کار کنه، نه بهجاشون.
برای این کار سه تا جهت فنی رو دنبال میکنن: ابزارهایی که هر کسی بتونه مدل رو با دانش خودش fine-tune کنه و وزنها رو آموزش بده؛ رابطهایی که کانال ارتباط آدم و ماشین رو پهنتر کنن. نویسنده میگه گلوگاه اصلی همون جعبهٔ متنی کوچیک و انتظار طولانیه که برای انتقال دانش انسانی خیلی باریک و کنده. برای همین روی interaction models شرط بلندمدت بستن؛ مدلهایی که تعامل زندهٔ چندوجهی رو ذاتی انجام بدن، نه با داربستی که دورشون بسته شده.
یه بحث مهمِ دیگه هدفِ ارزیابیه. معیار رایج امروز، طول بازهٔ زمانی کاریه که مدل خودش بهتنهایی انجام میده (مثل نمودارهای METR). به گفتهٔ نویسنده این فقط میسنجه هوش مصنوعی تنهایی چی میتونه بکنه، نه اینکه آدم و ماشین با هم چی میسازن؛ و سنجش دومی رو هیچ آزمایشگاهی بهتنهایی نمیتونه انجام بده، بلکه هر سازمان باید برای خودش بسنجه.
بخش جالب استدلال دربارهٔ همترازی غیرمتمرکزه. نویسنده میگه ارزشهای انسانی هم مثل دانش، تو سرِ تکتک آدمهان و مقاومت میکنن در برابر یکیشدن؛ ولی امروز صدا و ارزشهای هوش مصنوعی تو چند جا تصمیمگیری میشه و همین یه «کانون قدرت» میسازه که میشه تصرفش کرد. هر لابراتوار مدل بعدیش رو با مدل قبلیش آموزش میده، پس همه یه شخصیت مشابه میگیرن و تنوع میمیره.
نتیجهای که میگیرن اینه که برای اینکه هر کس مدل رو با ارزشهای خودش همتراز کنه، این ارزشها باید تو وزنهای مدل کدگذاری بشن، نه فقط تو پرامپت؛ چون تغییر رفتار عمیق مدل با پرامپت هم امنیت رو فدا میکنه و مدل رو در برابر حمله آسیبپذیر میکنه. چشماندازشون همترازی بهعنوان ویژگیِ یه اکوسیستم از هوشهای مصنوعیِ متفاوته که تو جاهای مختلف بزرگ شدن و از هم یاد میگیرن.
نکات کلیدی:
- مأموریت شرکت: هوش مصنوعی که ارادهٔ و قضاوت انسان رو گسترش بده، نه جایگزینش کنه
- دانش انسانی ضمنی، محلی و پخششدهست؛ پس هوش مصنوعی هم باید توزیعشده باشه
- شرط بلندمدت روی مدلهای تعاملی زنده بهجای جعبهٔ متنی و انتظار طولانی
- معیار درست، توانایی مشترک آدم و ماشینه، نه فقط کار مستقل مدل
- همترازی باید غیرمتمرکز باشه و ارزشهای کاربر تو وزنهای مدل بشینه، نه تو پرامپت
