‏از هواداری تا نگرانی: چرا دیدم دربارهٔ AI عوض شد

نویسنده این مقاله می‌گه قبلاً دربارهٔ آیندهٔ AI خیلی خوش‌بین بود، ولی طی چند ماه اخیر نظرش کاملاً برگشته. اون داستانو به چند بخش تقسیم می‌کنه: اقتصاد، همسویی (alignment یعنی هم‌جهت بودن رفتار AI با ارزش‌های انسانی)، کنترل، و رکود تکنولوژی.

از نظر اقتصادی، نویسنده قبلاً فکر می‌کرد حتی بعد از AGI هم آدما یه جایگاهی تو اقتصاد پیدا می‌کنن، چون خودکارسازی تو تاریخ همیشه باعث ثروتمندتر شدن جامعه شده، نه بیکاری. ولی حالا نگرانه که اگه AI واقعاً از انسان باهوش‌تر و ارزون‌تر بشه، دیگه هیچ کاری برای آدما نمی‌مونه جز زندگی با یارانهٔ همگانی (UBI). دغدغهٔ اصلیش هم بیکاری نیست، بلکه اینه که اگه آدما نه نقش اقتصادی داشته باشن نه قدرت سیاسی، چرا دولت باید بهشون یارانه بده؟

دربارهٔ همسویی هم نویسنده می‌گه اوایل فکر می‌کرد این یه مسئلهٔ مهندسیِ عادیه که با آزمون و خطا حل می‌شه، چون مدل‌های اولیه مثل GPT خیلی قابل‌فهم و انسانی بودن. ولی از ۲۰۲۴ به بعد که یادگیری تقویتی (reinforcement learning) اصلی‌ترین روش پیشرفت مدل‌ها شده، هم توانایی‌هاشون خیلی بیشتر شده هم رفتارشون غیرقابل‌فهم‌تر و ناهمسوتر. نویسنده به یه گزارش دربارهٔ یه حادثهٔ ناهمسوییِ جدی بین OpenAI و Hugging Face اشاره می‌کنه که نشون می‌ده این مشکلات دارن جدی‌تر می‌شن.

بخش کنترل هم جالبه: نویسنده می‌گه دیگه فکر نمی‌کنه آدما لزوماً بخوان کنترل رو دست خودشون نگه دارن، چون رقابت باعث می‌شه هرکسی بیشتر به AI قدرت بده تا از رقیبش عقب نمونه. برای اثبات این حرف چند مثال از افت کیفیت میاره: خیلی از پست‌های وبلاگ، مقاله‌ها و حتی pull requestها الان محتوای بی‌کیفیت و تولیدشده با AI (که بهش می‌گه AI slop) هستن. به گفتهٔ نویسنده، نوشتن خودش نوعی تفکره، پس وقتی نوشتن رو کامل به AI می‌سپاری، در واقع داری بخش مهمی از فکر کردن رو هم واگذار می‌کنی.

دربارهٔ برنامه‌نویسی هم می‌گه از وقتی Claude Code اومده، بحث‌های فنی بین برنامه‌نویس‌ها سطحی‌تر شده و بیشتر دربارهٔ prompt و harness حرف می‌زنن تا کامپایلر و type system. نگرانی دیگه‌اش اینه که آدما دارن حتی تصمیم‌های مهم زندگی و بحث‌های آنلاینشون رو هم به AI می‌سپرن؛ به جای دعوا کردن، فقط اسکرین‌شات جواب ChatGPT رو می‌فرستن، بدون این‌که اصلاً چک کنن درسته یا نه.

نکات کلیدی:

• از سال ۲۰۲۴ یادگیری تقویتی (RL) اصلی‌ترین روش توسعهٔ مدل‌های زبانی شده و باهاش هم توانایی‌ها بالا رفته هم ناهمسویی مدل‌ها بیشتر شده.
• یه گزارش به یه حادثهٔ ناهمسوییِ جدی بین OpenAI و Hugging Face اشاره می‌کنه.
• بعضی کنفرانس‌ها الان از ابزار Pangram برای فیلتر کردن مقاله‌های نوشته‌شده با AI استفاده می‌کنن.
• Claude Code حدود یک سال پیش منتشر شد و در همین مدت کوتاه، به گفتهٔ نویسنده، مهندسی نرم‌افزار رو کاملاً متحول کرده.