دیگه مدل گلوگاه نیست، ورکفلو هست
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
این مقاله به یه نتیجهٔ تازهٔ Anthropic به اسم «Making Claude a chemist» اشاره میکنه که توش یه مدل عمومی بدون هیچ fine-tuning شیمیای رو در مقابل نرمافزارهایی گذاشتن که شیمیدانها دهههاست بهشون تکیه میکنن، و مدل تونسته خوب دووم بیاره و جاهایی هم ازشون جلو بزنه. نویسنده میگه بیشتر مردم این رو تیتر میکنن، ولی به نظر اون نکتهٔ جالبتر اینه که سختترین بخش مسئله جابهجا شده: سالها عامل محدودکننده توان خود مدل بود، و حالا اون دوره داره تموم میشه.
تو این آزمون، سه مدل رو در مقابل ChemDraw و MestReNova روی NMR (یکی از رایجترین و وقتگیرترین کارهای تحلیلی تو شیمی) سنجیدن. تو پیشبینی روبهجلو — یعنی از یه ساختار معلوم، پیشبینی جای هر پیک هیدروژن و کربن — بهترین مدل (Opus 4.7) روی هیدروژن دقیقترین ابزار بوده با خطای میانگین ±۰٫۰۷۹ ppm، و روی کربن عملاً با MestReNova مساوی شده. روی شکل پیکها هم هر سه مدل حدود ۸۰٪ مواقع فاصله رو با دقت نیم هرتز پیشبینی کردن، در مقابل ۲۶ تا ۳۵٪ ابزارهای کلاسیک.
بعد مسئله رو برعکس کردن: فقط با یه فرمول مولکولی و یه طیف، مدل میتونه ساختار رو حدس بزنه؟ این مسئلهٔ معکوسه که نرمافزارهای موجود معمولاً به انسان واگذارش میکنن. مدل هر هشت هدف سادهتر رو تو هر تلاش درست درآورده، و بیشتر هدفهای سختتر حلقهای رو هم وقتی مادهٔ اولیه بهعنوان سرنخ بهش داده شد، حل کرده. نکتهٔ مهم به گفتهٔ خود Anthropic اینه که این یه مدل عمومی بدون آموزش شیمیه.
نویسنده میگه تیم Anthropic دربارهٔ محدودیتها هم صادقه: ارزیابی کوچیک بوده (۲۰ ترکیب برای کار روبهجلو و ۱۵ برای معکوس)، آزمایشهای دوبعدی و استریوشیمی خارج از دامنه بودن، و روی سختترین مسائل معکوس بدون سرنخ، مدل گاهی تو استدلالش حلقه میزد بدون اینکه به جواب نهایی برسه. به نظر نویسنده این آخری مهمه، چون یه مشکل دانشی نیست بلکه یه مشکل ورکفلوئه.
نویسنده تأکید میکنه این فقط داستان شیمی نیست؛ همین الگو تو زیستشناسی هم دیده شده. روی بنچمارک BixBench-Verified-50، یه سیستم عمومی بدون تنظیم برای بنچمارک، نمرهٔ ۹۰٪ گرفته و از agentهای تخصصی جلو زده. وقتی یه نتیجهٔ مشابه تو رشته پشت رشته ظاهر میشه، دیگه شگفتی نیست و تبدیل به یه ترند میشه، یعنی این توانایی عمومیه و همین الانش هست.
به گفتهٔ نویسنده یه پاسخ چت با یه نتیجهٔ پژوهشی فرق داره. نتیجهٔ پژوهشی یه زنجیرهٔ شواهده: دادهٔ درست از منبع درست، روش درست که اجرا شده، خروجیای که با دانش موجود چک شده، و جوابی که بشه ازش دفاع کرد و بازتولیدش کرد — و مدل فقط یه حلقه از این زنجیرهست. همون حلقهزدن مدل روی ساختارهای سخت، نبود سیستمیه که مدل رو مجبور به تصمیم کنه و کاندیداها رو در مقابل طیف تست کنه. اگه به مدل توانایی اجرای کد cheminformatics، کوئری به پایگاه ساختار و چککردن ساختار پیشنهادی بدی، اون حلقه بسته میشه.
نویسنده میگه کاری که الان مهمه، operationalize کردن مدله نه فقط باهوشتر کردنش: رسیدن به دادهٔ واقعی (۲۵۰+ پایگاه و فایلهای دستگاهها)، اجرای واقعی تحلیل و نوشتن کد، راستیآزمایی بهجای ادعا، و تولید خروجیای که آدم بتونه بازرسیش کنه. به نظر اون محصول خودشون (K-Dense Web) عمداً model-agnostic ساخته شده، چون اهرم دیگه تو یه مدل خاص نیست بلکه تو همهچیز دور اونه. به همین خاطر بهتر شدن مدل پایه، لایهٔ ورکفلو رو بیمصرف نمیکنه، بلکه سقف کارش رو بالاتر میبره.
نکات کلیدی:
- مدل عمومی بدون آموزش شیمی تو NMR با ChemDraw و MestReNova رقابت کرد و جاهایی جلو زد
- Opus 4.7 روی هیدروژن دقیقترین ابزار بود (خطای ±۰٫۰۷۹ ppm)
- همین الگو تو زیستشناسی هم دیده شد (نمرهٔ ۹۰٪ روی BixBench-Verified-50)
- به گفتهٔ نویسنده گلوگاه واقعی دیگه هوش مدل نیست، ورکفلو و scaffolding دور مدله
- نتیجهٔ پژوهشی یه زنجیرهٔ شواهده، نه یه پاسخ چت؛ مدل فقط یه حلقهٔ اون زنجیرهست
