‏وقتی بازار از مدیر هوشمند جلو می‌زنه: آزمایش جالب چند-مدلی

یه پژوهشگر آزمایشی طراحی کرده که توش سه روش مختلف برای سازماندهی چند مدل هوش مصنوعی رو با هم مقایسه کرده: کار انفرادی توسط یه مدل قوی، ساختار هاب-اسپوک (یه مدل مدیر + چند مدل کارگر)، و یه بازار رقابتی که مدل‌ها برای هر تسک پیشنهاد می‌دن. نتیجه؟ بازار برنده شد.

ساختار هاب-اسپوک که شبیه‌ترین چیز به سازمان‌های انسانیه، یه مدل پیشرفته رو به عنوان مدیر داشت که وظایف رو تقسیم می‌کرد، به مدل‌های کارگر می‌داد، خروجی رو می‌گرفت، نقد می‌کرد و ویرایش می‌کرد. این فرایند گرون و کند بود. در مقابل، مدل بازاری سه مدل رو وادار می‌کرد برای هر تسک پیشنهاد بدن، برنده رو انتخاب می‌کرد و بر اساس عملکرد، رپوتیشن هر مدل رو آپدیت می‌کرد.

اعداد خیلی واضحن: بازار میانگین ۷.۲ از ۱۰ با هزینه ۱.۳۴ دلار، مدل انفرادی ۷.۲ با هزینه ۱.۶۹ دلار، و هاب-اسپوک ۶.۷ با هزینه ۵.۳۳ دلار. یعنی هاب-اسپوک چهار برابر گرون‌تر از بازار بود و نتیجه بدتری هم داد.

البته داستان به این سادگی نیست و هر توپولوژی برای نوع خاصی از تسک بهتر عمل می‌کنه. در کدنویسی، مدل انفرادی قوی‌تر بود چون تسک‌های کدنویسی نیاز به حفظ «state» کلی دارن؛ یه مدل باید کل کلاس، edge caseها، invariantها و رفتار دقیق رو یکجا نگه داره. وقتی این کار بین چند مدل تقسیم می‌شه، چیزی گم می‌شه.

در مقابل، تسک‌های استدلالی (reasoning) جایی بود که بازار واقعاً درخشید. بازار ۷.۱، مدل انفرادی ۵.۱، هاب-اسپوک ۵.۲. مسائل استدلالی شکننده هستن و نیاز به تلاش‌های مستقل و تشخیص شکست دارن. وقتی یه جواب اشتباهه، مدل بعدی می‌تونه شانس بگیره. یه مثال جالب: جواب درست یه مسئله احتمالاتی (10/33) فقط در ران‌های بازار ظاهر شد.

سنتز هم نتیجه‌ای بین این دو داشت. چون نیاز به قاب‌بندی و توجه به trade-offها داشت، بازار اینجا هم بهتر از هاب-اسپوک بود.

یه نکته مهم اینه که مدل‌های AI در تخمین توانایی‌های خودشون خیلی ضعیفن. Gemini بیش از حد اعتماد به نفس داره، GPT کمتر از حد، و هیچ‌کدوم خوب نیستن در پیش‌بینی اینکه حل یه مسئله چقدر سخته. اما همین ضعف در بازار رقابتی جبران می‌شه چون تنوع مدل‌ها باعث می‌شه حتی اگه یکی شکست خورد، دیگری موفق بشه.

مشکل اصلی هاب-اسپوک اینه که مدیر باید دو کار سخت رو درست انجام بده: اول، بدونه تسک رو چطور بشکونه؛ دوم، بدونه جواب‌های جزئی رو چطور کنار هم بذاره. اگه هر کدوم از این دو مرحله اشتباه باشه، حتی کارگرهای کامپتنت هم نتیجه بدی می‌دن. دقیقاً این اتفاقی بود که افتاد.

نویسنده اشاره می‌کنه که با پیشرفت‌هایی مثل RLM (Recursive Language Models) که مدل رو قادر می‌سازه context خودش رو بر اساس تسک پیدا و آپدیت کنه، انتظار می‌ره بازارها عملکرد بهتری داشته باشن، چون از تنوع دانش مدل‌ها بهتر بهره می‌برن.

نکات کلیدی:

• بازار رقابتی مدل‌های AI از ساختار هاب-اسپوک هم ارزون‌تر (۱.۳۴ در مقابل ۵.۳۳ دلار) و هم با کیفیت بهتره
• مدل انفرادی برای کدنویسی که نیاز به حفظ state کلی داره، بهترین گزینه‌ست
• بازار رقابتی برای تسک‌های استدلالی شکننده که نیاز به تلاش‌های مستقل دارن، برنده‌ست
• مدل‌های AI در تخمین توانایی خودشون ضعیفن ولی تنوعشون در بازار این ضعف رو جبران می‌کنه
• هاب-اسپوک فقط وقتی کار می‌کنه که تسک به‌طور طبیعی قابل تقسیم‌بندی باشه
• همه harness های فعلی چند-عاملی هنوز بر پایه منطق هاب-اسپوک کار می‌کنن