‏۳۰ ماه پیشرفت هوش مصنوعی در چند نمودار

ایتن مالیک، نویسندهٔ وبلاگ One Useful Thing، به مناسبت انتشار کتاب دومش دربارهٔ هوش مصنوعی به اسم Co-Existence، یه مرور تصویری از ۳۰ ماه گذشته نوشته. کتاب قبلیش Co-Intelligence اوایل ۲۰۲۴ اومده بود. نکتهٔ جالب اینه که خود نمودارها رو هم هوش مصنوعی ساخته: اون با Opus 5.5 تو Claude Projects فقط چند جمله توضیح داده و یه ایجنت «هماهنگ‌کننده» (یعنی ایجنتی که بقیهٔ ایجنت‌ها رو راه می‌ندازه و کارشون رو جمع می‌کنه) تحقیق، نمودار، طراحی و منابع رو تو چند دقیقه آماده کرده. حتی یه اشتباه حسابی خود نویسنده رو هم گرفته.

از اوایل ۲۰۲۳ تا اوایل ۲۰۲۴، GPT-4 بی‌رقیب بهترین مدل دنیا بود. از اون موقع تا حالا بیست مدل مختلف، همه از Anthropic، Google یا OpenAI، یه دوره صدرنشین بودن. ولی تغییر بزرگ‌تر اینه که الان ۱۸۰ مدل از GPT-4 زمان انتشارش بهترن، خیلی‌هاشون open weights هستن (یعنی هر کسی می‌تونه آزادانه ازشون استفاده یا تغییرشون بده) و نوزده‌تاشون حتی روی یه گوشی هوشمند امروزی اجرا می‌شن.

مالیک برای نشون دادن سرعت رشد به بنچمارک METR Long Horizon اشاره می‌کنه که می‌سنجید یه مدل با حداقل ۵۰ درصد احتمال موفقیت، از یه پرامپت، چقدر کار انسانی رو می‌تونه انجام بده. این عدد از GPT-4 تا آخر عمر بنچمارک هشت بار دو برابر شد: از یه کار چهار دقیقه‌ای تو ۲۰۲۴ به ۱۷ ساعت کار در آوریل ۲۰۲۶. بعدش METR گفت دیگه با روش‌های فعلیش نمی‌تونه دقیق اندازه بگیره و بعضی مطالعه‌ها حرف از ۱۷ هفته کار یا بیشتر می‌زنن.

همزمان قیمت‌ها هم ریخته. تو آزمون GPQA (سؤال‌هایی که حتی دانشجوهای تحصیلات تکمیلی رو گیر می‌ندازه) گرفتن یه جواب درست قبلاً حدود ۳۰ سنت خرج داشت و الان چهار صدم سنت تموم می‌شه. با این حال نویسنده می‌گه مرز توانایی هوش مصنوعی هنوز «ناهموار»ه: مثلاً تو حل مسئلهٔ ریاضی از افتضاح به فرابشری رسیده، ولی تو نوشتن متن‌های بلند هنوز ضعیفه.

مالیک تو کتاب قبلیش دو مدل کار با AI رو معرفی کرده بود: centaur (تقسیم کار بین آدم و AI) و cyborg (کار درهم‌آمیخته). حالا با اومدن ایجنت‌های واقعی یه مدل سوم اضافه کرده به اسم conjurer: کسی که ایجنت‌ها رو احضار می‌کنه، کار بهشون می‌سپاره و فقط نتیجه رو ارزیابی می‌کنه. به گفتهٔ اون این قوی‌ترین روش استفاده از AI هست، ولی ریسک تازه‌ای هم داره چون دیگه دقیق نمی‌دونیم ایجنت چطور به نتیجه رسیده. تست معروفش، یعنی «سمور تو هواپیما با وای‌فای»، هم این بار به یه ویدیوی کامل با موسیقی رسیده که Opus 5.5 بدون کمک خودش ساخته.

نکات کلیدی:

• از اوایل ۲۰۲۴ تا حالا بیست مدل مختلف صدرنشین بودن، همه از Anthropic، Google یا OpenAI.
• ۱۸۰ مدل از GPT-4 زمان انتشارش بهترن و ۱۹تاشون روی گوشی اجرا می‌شن.
• طبق بنچمارک METR، توان کاری مدل‌ها از ۴ دقیقه در ۲۰۲۴ به ۱۷ ساعت در آوریل ۲۰۲۶ رسید.
• هزینهٔ یه جواب درست تو آزمون GPQA از ۳۰ سنت به ۰٫۰۴ سنت رسیده.
• مدل جدید کار با AI از نظر مالیک «conjurer» هست: سپردن کار به ایجنت‌ها و ارزیابی خروجی.