‏تست پلیکان دوچرخه‌سوار: خبری از تقلب نیست

چند ساله سایمون ویلیسون هر مدل جدیدی رو با یه پرامپت ثابت تست می‌کنه: «یه SVG از پلیکان سوار دوچرخه بساز». این شوخی حالا به یکی از معروف‌ترین بنچمارک‌های غیررسمی هوش مصنوعی تبدیل شده، و همین باعث شده خیلی‌ها بپرسن نکنه آزمایشگاه‌ها مدل‌هاشون رو مخصوص همین تست تیون می‌کنن. دیلن کاستیو تو این مقاله می‌گه خواسته جواب رو با داده پیدا کنه، نه با حدس.

روش کارش یه شبکهٔ هشت حیوان در شش وسیلهٔ نقلیه بود؛ ۴۸ پرامپت که پرامپت معروف فقط یکی از خونه‌هاشه. هفت مدل — از GPT-5.6 Terra و Claude Sonnet 5 تا Grok 4.5 و DeepSeek V4 Pro — هر پرامپت رو سه بار زدن و ۱۰۰۸ تا SVG درومد. بعد هر تصویر رندر شد، یه داور به حیوان و وسیله و انسجام صحنه نمرهٔ ۱ تا ۵ داد، و یه مدل دیگه عناصر صحنه و جهت نگاه سوژه رو استخراج کرد.

فرضیه ساده بود: اگه آزمایشگاهی روی این بنچمارک تمرین داده باشه، باید یا سطر پلیکان یا ستون دوچرخه یا خودِ اون خونه بالاتر از حد انتظار نمره بگیره. ولی پلیکان بین هشت حیوان ششمه، دوچرخه بین شش وسیله پنجم، و ترکیب پلیکان و دوچرخه رتبهٔ ۴۲ از ۴۸ رو داره. رگرسیونی هم که سختی ذاتی هر ۴۸ ترکیب رو خنثی می‌کنه چیزی پیدا نکرد: از ۲۱ آزمون فقط یکی زیر ۰.۰۵ درومد که با تصحیح چندمقایسه‌ای دووم نمی‌یاره.

ادعای دوم این بود که صحنهٔ پلیکان و دوچرخه حفظ شده و همیشه یک‌شکله. درسته که هر ۲۱ تصویر این ترکیب رو به راست نگاه می‌کنن، ولی ۶۰٪ کل تصاویر همین‌طورن و سه ترکیب دیگه هم بالای ۹۰٪ رسیدن. عناصر تکراری هم اختصاصی این صحنه نیست؛ مثلاً هر فلامینگوی سوار قایق یه خورشید تو تصویرش داره.

نویسنده محدودیت‌ها رو هم صریح می‌گه: نمره‌ها از یک داور تکی می‌یاد، کل آزمایش با حدود ۸۰ دلار اعتبار API انجام شده، و مهم‌تر از همه اینکه اگه آزمایشگاهی کل تولید SVG رو بهینه کرده باشه — کاری که به گفتهٔ او گوگل علنی انجامش می‌ده — این آزمایش اصلاً توان تشخیصش رو نداره. جمع‌بندی‌اش اینه که دست‌کم به‌شکل آشکار، کسی روی پلیکان تقلب نمی‌کنه.

نکات کلیدی:

• ۱۰۰۸ تصویر SVG از ۴۸ ترکیب حیوان و وسیله، با هفت مدل مرزی
• پلیکان ششم از هشت حیوان و دوچرخه پنجم از شش وسیله
• ترکیب پلیکان و دوچرخه رتبهٔ ۴۲ از ۴۸ رو گرفت
• بعد از تصحیح چندمقایسه‌ای هیچ اثر معناداری باقی نموند
• بهینه‌سازی کلی روی تولید SVG با این روش قابل تشخیص نیست