Claude روی توالی پروتئینها هم آموزش دیده
خلاصهٔ کاملتر
نویسندهها یه سؤال ساده داشتن: مدلهای زبانی بزرگی که تو کارهای پروتئینی خوب شدن، این دانش رو از خود دیتابیسهای توالی مثل UniProt یاد گرفتن یا از مقالههایی که درباره پروتئینها نوشته شده؟ پروتئینهای معروف مثل GFP جواب نمیدن، چون توالیشون همهجا چاپ شده و مدلها حفظش کردن. برای همین سراغ پروتئینهایی رفتن که تقریباً هیچکس دربارهشون چیزی ننوشته.
روش تست اینه: شروع یه پروتئین رو به مدل میدن و ازش آمینواسید بعدی رو میخوان. بعد همین کارو روی یه نسخه شافلشده (یعنی همون حروف ولی با ترتیب بههمریخته) تکرار میکنن. فاصله دقت این دو حالت نشون میده مدل چقدر خود توالی رو میشناسه. مجموعه تست ۶۶۸ پروتئین باکتریایی و آرکیایی از ۱۶۷ خانواده Pfam با عملکرد ناشناختهست که هیچکدوم ساختار حلشده یا بیشتر از سه مقاله ندارن.
نتیجه: Fable 5.2 تو ۵۴٪ موارد روی پروتئین واقعی درست حدس میزنه و روی نسخه شافلشده فقط ۹٪. این فاصله تقریباً تو همه خانوادهها دیده میشه، تو Opus 4.7 ظاهر میشه، تو Opus 5.5 جهش میکنه و تو Fable 5.2 باز بیشتر میشه. GPT، Gemini و هفت مدل اوپنویت مثل DeepSeek V4.1 Flash و Qwen 3.8 نزدیک صفر میمونن، حتی وقتی متن خام FASTA (یعنی فرمت متنی استاندارد توالیها) رو ادامه میدن.
برای مقایسه، سراغ مدلهای زبانی پروتئین رفتن، یعنی مدلهایی که فقط روی توالی آموزش دیدن. Fable 5.2 با فاصله زیادی از ProtGPT3-10B و ProGen3-3B جلوتره، و Opus 5.5 همسطح ProtGPT3-10B و پایینتر از ProGen3-3B قرار میگیره.
شاهد اصلیشون اینه که هرچی خانواده پروتئین بزرگتر باشه (یعنی توالی بیشتری ازش تو دیتابیسها هست)، دقت Claude هم بالاتر میره، دقیقاً مثل مدلهای پروتئینی. دو توضیح دیگه هم رد میشه: تو ۱۲۸ خانوادهای که هیچ مقالهای ندارن نتیجه همونه، و جوابهایی که بدون thinking داده شدن هم همونقدر دقیقن. نویسندهها نتیجه میگیرن توالی پروتئین بخش قابلتوجهی از داده آموزشی این مدلها بوده. ولی برای DNA اینطور نیست: Opus 5.5 فقط بخش کدکننده ژنوم انسان و موش رو پیشبینی میکنه، نه بقیه ژنوم رو.
نکات کلیدی:
- Fable 5.2 روی پروتئین واقعی ۵۴٪ و روی شافلشده ۹٪ آمینواسید بعدی رو درست حدس میزنه
- تست روی ۶۶۸ پروتئین از ۱۶۷ خانواده Pfam با عملکرد ناشناخته انجام شده
- Opus 5.5 همسطح ProtGPT3-10B هست و Fable 5.2 از همه مدلهای پروتئینی اوپن جلوتره
- GPT، Gemini و هفت مدل اوپنویت تو این تست نزدیک صفرن
- تو ۱۲۸ خانواده بدون هیچ مقاله، دقت Claude کم نمیشه
- هزینه کل APIها حدود ۷۳۰ دلار بوده




