تست ۱۵ دقیقهای که ضعف مدلهای تصویری رو لو میده
هوش مصنوعیخلاصهٔ کاملتر
نویسنده، پیتر (زَک) زاکژفسکی، مقاله رو با نقل ماجرای یه طراح ارشد شروع میکنه: از یه مدل خواسته بود وبلاگش رو بازنویسی کنه و مدل بدون اینکه ازش خواسته بشه یه جعبهٔ جستجو با انیمیشن بلور و امکانات دسترسپذیری هم اضافه کرده بود — به اعتراف خودش بهتر از چیزی که خودش میساخت. سؤالی که نویسنده میپرسه اینه: یه مدل پیشبین توکن چطور چنین کاری میکنه؟
جواب نویسنده اینه که مدل وبلاگ اون آدم یا کاربرهاش رو نفهمیده بود. مدل روی حجمی از کد فرانتاند، مستندات دیزاین سیستم و راهنماهای دسترسپذیری آموزش دیده که هیچ آدمی توی عمرش نمیتونه بخونه، و داشت از توزیع آماری «بازطراحی وبلاگ» الگو تکمیل میکرد. دسترسپذیری طراحی نشده بود، بازیابی شده بود؛ انیمیشن بلور هم یه تصمیم خلاقانه نبود، میانگین مد ترندهای فعلی توی دادهٔ آموزشی بود.
برای دیدن این تفاوت، نویسنده یه آزمون خیلی ساده پیشنهاد میده: از همون مدل بخواه تصویر یه میز غذاخوری بسازه که چهار پایهش از ماکارونی خشک و نپختهٔ اسپاگتیه، صفحهش یه دال بتنی یکپارچهست و یه تُنگ ماهی پر از آب هم روشه. مدل تصویر رو با روانی فوتورئالیستی و سریعتر از تو میسازه، ولی مشکل فیزیکیای رو که یه بچهٔ پنجساله میبینه اصلاً تشخیص نمیده.
پروتکل بین فوریه تا مارس ۲۰۲۶ روی سه مدل چندوجهی — GPT-4o، Gemini 1.5 Pro و Claude 3.5 Sonnet — در شرایط یکسان اجرا شد. امتیاز کل روی پونزده خروجی ۴ از ۳۰ بود، یعنی سیزده درصد سقف انسجام ساختاری. جالبترین نتیجه مال Claude 3.5 Sonnet بود: قبل از ساخت تصویر، ناپایداری سازه رو در سطح زبانی اعلام کرد و بعد باز هم تصویر ناسازگار ساخت و بیسروصدا یکی از پایهها رو با پایهٔ محکمتر عوض کرد، بدون اینکه این جایگزینی رو بگه.
نویسنده اسم این وضعیت رو خطای وارونگی میذاره: مسئله جهل نمادین نیست، ناتوانی ساختاری برای اعمال همون دانسته در لحظهٔ تولیده. GPT-4o و Gemini 1.5 Pro اصلاً هیچ اشارهای به محال بودن صحنه نکردن و هر دو با روانی کامل رندرش کردن. هیچ مدلی درخواست رو رد نکرد و هیچکدوم جایگزین فیزیکیِ منسجم ارائه نداد.
پروتکل سه ستون رو میسنجه. پیوستگی: آیا مدل یه مدل جهانی چهاربعدی پایدار نگه میداره یا اشیا جابهجا میشن. گرانش و فیزیک: آیا در لحظهٔ تولید قید فیزیکی اعمال میکنه — همون ستونی که میز اسپاگتی مستقیم تستش میکنه و هیچ مدلی توش بالاتر از صفر نگرفت. برگشتپذیری فکر: آیا میتونه زنجیرهٔ علّی رو جلو و عقب دنبال کنه و مرز بین دو کار جدا رو حفظ کنه؛ توی یکی از جلسهها عناصر یه پرامپت قبلی بدون تشخیص وارد خروجی بعدی شده بود.
قسمت دوم مقاله یه دعوت به مشارکته. به گفتهٔ نویسنده مطالعهٔ اولیه رو یه نفر انجام داده و حالا به تکرار و مقیاس نیاز داره؛ برای اجراش نه آزمایشگاه لازمه نه وابستگی پژوهشی، فقط یه مرورگر و پونزده دقیقه. کافیه توی یه جلسهٔ تازه اون پرامپت میز اسپاگتی رو بدی، اسکرینشات بگیری، بعد توی همون جلسه بخوای صحنه رو پنج ثانیه بعد از شکستن پایهها نشون بده و نتیجه رو با همون سه ستون امتیاز بدی. روبریک امتیازدهی و قالب ارسال روی گیتهاب هست.
اصل پشت ماجرا هم چیزیه که نویسنده بهش میگه پرامپت پرآنتروپی: سناریویی که بیرون از الگوهای رایج فضایی و فیزیکی دادهٔ آموزشیه، پس مدل نمیتونه از کورپوس چیزی کپی کنه و مجبوره از پایه یه مدل فیزیکی منسجم بسازه. نویسنده پیشنهاد میکنه هر کسی نسخهٔ خودش رو برای حوزهٔ خودش بسازه: مواد با خواص سازهای ناجور رو ترکیب کن، یه عنصر باربر با پیامد قابلردیابی بذار، حوزهای رو انتخاب کن که خوب میشناسی، و همون سناریو رو روی چند مدل مختلف اجرا کن.
نکات کلیدی:
- روانی و فوتورئالیسم دلیل درک فیزیکی نیست؛ خروجی بینقص میتونه هر سه ستون رو صفر بگیره
- امتیاز کل سه مدل روی پونزده خروجی: ۴ از ۳۰
- Claude 3.5 Sonnet مشکل رو در سطح زبانی اعلام کرد ولی باز تصویر ناسازگار ساخت
- سه ستون سنجش: پیوستگی، گرانش و فیزیک، برگشتپذیری فکر
- اجرای پروتکل فقط یه مرورگر و پونزده دقیقه وقت میخواد
