چرا کار با Opus 5 حس بدتری داره؟
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
نویسندهٔ وبلاگ mun-logadan میگه خودش و همکارهایی که باهاشون حرف زده حس میکنن کار با Opus 5 نسبت به Opus 4.7 و 4.8 و Fable یه قدم به عقبه. تأکید میکنه بحثش سر توانایی نیست — به گفتهٔ خودش این مدل از 4.7 و 4.8 تواناتره و تو بنچمارکها با Fable هم رقابت میکنه — بلکه سر حسِ کار کردن باهاشه.
به نظر نویسنده، سه رفتار مدلهای قبلی فرق رو میساخته: وقتی منظور کاربر روشن نبوده میایستادن و میپرسیدن، بدون بررسی فرض نمیساختن، و نقشهٔ کاربر رو سرخود تفسیر یا بهروز نمیکردن. نتیجهش این بوده که لازم نبوده مدام بالای سرشون وایسی، کاری که به گفتهٔ او Opus 5 لازمش داره.
بخش دوم پست، که خود نویسنده اسمش رو «حدس بیپایه» گذاشته، دو فشار همزمان تو آزمایشگاههای بزرگ رو مقصر میدونه: یکی رؤیای ساختن هوش مصنوعیِ خودبهبوددهنده که خودش رو تا AGI بالا بکشه، و دومی فشار گرفتن نمرهٔ بالا تو بنچمارکها.
استدلالش اینه که یه تسک خوبِ بنچمارک خودبسندهست؛ حلشدنیه و برای قبولشدن به راهنمایی، ذهنخونی از طراح تسک یا اطلاعات بیرونی نیاز نداره. پس انتخاب و آموزش مدل روی همین تسکها — و کلاً RLVR، یعنی یادگیری تقویتی با پاداش قابلراستیآزمایی — ذاتاً مدلی رو جلو میندازه که سر ابهام حدس جسورانه و معمولاً درست بزنه، و مدلی رو جریمه میکنه که بایسته و توضیح بخواد.
به گفتهٔ نویسنده مشکل اینجاست که دقیقاً همون رفتار جریمهشده چیزیه که بیشترمون از یه ایجنت کدنویسی میخوایم. هیچوقت نمیشه کل کانتکست، نیت، پیامدهای کسبوکاری و محدودیت بودجه رو کامل نوشت و دست ایجنت داد؛ ابهام و دوراهی همیشه هست. به نظر او زندگی واقعی بنچمارک نیست و وقتی پای عواقب واقعی وسطه، آدم نمیخواد ایجنت بهترین حدسش رو بزنه.
نکات کلیدی:
- به گفتهٔ نویسنده Opus 5 تو بنچمارکها از Opus 4.7 و 4.8 جلوتره و با Fable رقابت میکنه، ولی حس کار کردن باهاش بدتره.
- سه رفتاری که جاش خالیه: پرسیدن سر ابهام، فرضنساختن بدون بررسی، و دستنزدن به نقشهٔ کاربر.
- تسک خوبِ بنچمارک خودبسندهست و نباید به راهنمایی یا اطلاعات بیرونی نیاز داشته باشه.
- آموزش روی بنچمارک و RLVR به مدل حدسزن پاداش میده و مدل سؤالپرس رو جریمه میکنه.
- نویسنده خودش بخش دوم پست رو «حدس بیپایه» اسم گذاشته؛ این یه تجربهٔ شخصیه، نه سنجش کمی.
