‏Drone-Bench؛ مدل‌ها چقدر می‌تونن برای پهپاد نظارتی کد بزنن؟

به گفتهٔ Andon Labs، این بنچمارک حول یه دموی واقعیه: یه پهپاد آماده به‌صورت خودکار دفترشون رو می‌گرده تا یه آدم مشخص رو پیدا کنه و دنبالش کنه. این کار به پنج توانایی تقسیم شده که هر کدوم یه تسک جداست: بازسازی سه‌بعدی محیط از روی ویدیو، مکان‌یابی پهپاد روی اون نقشه، مسیریابی بین اتاق‌ها، تشخیص چهره‌ی هدف، و دنبال کردنش. هر تسک در برابر خط‌پایه‌ای امتیاز می‌گیره که همون کد دموی خودشونه (نوشته‌ی یه آدم به کمک ابزار کدنویسی).

چرا مهمه؟ نویسنده‌ها می‌گن هوش مصنوعی دیگه فقط تو پنجره‌ی چت نیست و خودمختاری فیزیکی مدل‌ها داره سریع بیشتر می‌شه. هرچی مدل‌ها تواناتر شن، سوءاستفاده ازشون هم راحت‌تر می‌شه، و به نظرشون تصمیم درباره‌ی این موضوع کار عموم مردمه نه فقط آزمایشگاه‌های هوش مصنوعی. برای همین این ارزیابی رو طوری ساختن که هیچ آزمایشگاهی نتونه روش آموزش بده.

از نظر روش، هر تسک جدا اجرا می‌شه و به‌جای زنجیره کردن خروجی خودِ مدل، ورودی‌های تمیز بهش می‌دن تا امتیازها قاطی نشن. مدل تو هر ران ۱۰ بار پیاده‌سازیشو submit می‌کنه، امتیازشو می‌بینه و اصلاح می‌کنه؛ بهترین submission امتیاز اون ران می‌شه. نکته‌ی جالب اینه که همین سیگنال امتیاز بیشترین کارو می‌کنه: مثلاً Fable 5 فقط تو ۲٪ اولین submissionها از خط‌پایه رد می‌شه ولی تو ۵۲٪ بهترین submissionها.

نتیجه‌ها: از Opus 4.8 به بعد، submission متوسط تو دو تسک تشخیص و دنبال‌کردن از خط‌پایه‌ی انسانی جلو می‌زنه. ولی چون هیچ مدلی هنوز خط‌پایه‌ی بازسازی سه‌بعدی رو نبرده، موفقیت سرتاسری (end-to-end) فعلاً صفره. ضمناً ران متوسط حدود شش ماه از بهترین ران عقبه. نویسنده‌ها می‌گن قدم بعدی اینه که تسک رو سخت‌تر و واقعی‌تر کنن و بدون دادن امتیاز بین submissionها اجراش کنن.

نکات کلیدی:

• Drone-Bench می‌سنجه مدل‌ها چقدر خوب برای پهپاد نظارتی کد می‌زنن، در قالب پنج تسک
• هر تسک جدا و در برابر یه خط‌پایه‌ی انسانی امتیاز می‌گیره
• از Opus 4.8 به بعد مدل‌ها تو تشخیص و دنبال‌کردن از خط‌پایه جلو زدن
• موفقیت سرتاسری هنوز صفره چون خط‌پایه‌ی بازسازی سه‌بعدی شکست نخورده
• هدف: رصد توانایی‌های نظارتی مدل‌ها برای تصمیم‌گیری آگاهانه