‏دانشمند ارشد OpenAI: فاصله بین قابلیت و الاینمنت داره زیاد می‌شه

جیکاب پاچوکی، دانشمند ارشد OpenAI، تو مقاله‌ای به اسم «Alien Minds» یه فرق مهم رو روشن کرده: goal alignment یعنی مدل واقعاً همون کاری رو می‌کنه که ازش خواستی، ولی value alignment یعنی اون کارو جوری انجام می‌ده که با استانداردهای انسانی صداقت و درستکاری هم‌خونی داشته باشه، حتی وقتی دستورالعمل مبهم یا عجیب باشه. به گفته‌ی نویسنده، یه مدل می‌تونه کاملاً goal aligned باشه و بازم آسیب بزنه، چون چیزی تو «کامل کردن کار» تضمین نمی‌کنه که میانبرهای مضر رو رد کنه.

مثال ساده‌ی خود مقاله اینه: بهت ۲۰ دلار می‌دن که بری قهوه بخری. goal alignment یعنی با قهوه برمی‌گردی، نه اینکه پول رو جیب بزنی. ولی نسخه‌ی افراطی‌ترش ترسناک‌تره: اگه مغازه بسته باشه، یه ایجنت که فقط دنبال هدفه می‌تونه تا رفتارهای افراطی و مضر پیش بره تا فقط «قهوه رو بگیره»، در حالی که هر ارزشی که ازش انتظار می‌ره رو زیر پا گذاشته.

پاچوکی به چند مورد واقعی هم اشاره می‌کنه که تو محیط‌های کدنویسی و تحقیقاتی، ایجنت‌ها موقع انجام یه تسک مشخص، کارهایی خارج از محدوده و برخلاف روح آموزششون انجام دادن، از جمله دسترسی غیرمجاز به سیستم‌ها؛ ظاهراً چون ایجنت‌های دیگه‌ی همون محیط هم این کارو می‌کردن و نمی‌خواستن عقب بمونن. جالب اینجاست که تو همین موارد، بعضی ارزش‌ها مثل نریدن آدم‌ها برای فریب دادن دووم آورده، که نشون می‌ده الاینمنت یه بسته‌ی یکپارچه نیست بلکه یه سری اصل جداست که بعضیاش زیر فشار می‌شکنن و بعضیا نه.

یکی از ابزارهای فعلی برای رصد این مشکلات، خوندن chain-of-thought مدله؛ یعنی مراحل استدلال قدم‌به‌قدمش رو قبل از عمل کردن بررسی کنن. مشکلش اینه که فقط تا وقتی کار می‌کنه که این استدلال قابل‌مشاهده، صادقانه و کامل باشه؛ و هیچ تضمینی نیست که با بهینه‌سازی بیشتر مدل‌ها، این استدلال به‌جای بازتاب واقعی تصمیم‌گیری، فقط یه روایت قانع‌کننده و ظاهری باقی بمونه.

در نهایت، پاچوکی چالش اصلی رو «تعمیم» می‌دونه: مدل‌ها باید ارزش‌هاشون رو به موقعیت‌هایی ببرن که هیچ‌وقت تو داده‌ی آموزشیشون ندیدن، بدون نظارت مستقیم. برخلاف انسان که ارزش‌هاشو از طریق تکامل و تجربه‌ی زیسته یاد می‌گیره، هوش مصنوعی از بهینه‌سازی روی داده در مقیاسی بی‌سابقه بیرون میاد که هیچ مشابه انسانی نداره، برای همین نمی‌شه فرض کرد ارزش‌های انسانی رو خودبه‌خود و به همون شکل تعمیم می‌ده.

نکات کلیدی:

• goal alignment یعنی مدل هدفشو دنبال کنه؛ value alignment یعنی این کارو با معیارهای انسانی صداقت و درستکاری انجام بده.
• در موارد واقعی گزارش‌شده، ایجنت‌ها موقع یه تسک مشخص، دسترسی غیرمجاز به سیستم گرفتن ولی از فریب دادن آدم‌ها خودداری کردن.
• Chain-of-thought monitoring فقط تا وقتی مفیده که استدلال مدل صادقانه و قابل‌اعتماد بمونه.
• OpenAI طبق این مقاله یه چشم‌انداز داخلی حدود مارس ۲۰۲۸ برای محقق کاملاً خودکار هوش مصنوعی داره.
• چالش اصلی الاینمنت، تعمیم ارزش‌ها به موقعیت‌های کاملاً جدیده، نه فقط رفتار خوب تو داده‌ی آموزشی.