‏Carbon-X در بنچمارک‌های DNA پابه‌پای GPT-6.1 Sol

طبق این مقاله، Carbon-X یه مدل open-weight با 14.8 میلیارد پارامتره که روی Qwen3-14B ساخته شده. این مدل تشخیص می‌ده یه جهش ژنتیکی بی‌خطره یا بیماری‌زا (pathogenic)، ناحیه‌های تنظیمی رو پیدا می‌کنه، موجود زنده رو از روی توالی دسته‌بندی می‌کنه و بازهای بعدی رو پیش‌بینی می‌کنه. میانگینش روی پنج بنچمارک DNA با thinking خاموش 66.7 درصده، یعنی کمتر از یک امتیاز پایین‌تر از GPT-6.1 Sol، در حالی که روی یه GPU هشتاد گیگی اجرا می‌شه.

معماریش یه decoder-only transformer تکیه با 40 لایه و hidden size برابر 5120، بدون encoder جدا برای DNA. ترفند اصلی تو tokenizer هست: واژگان BPE مدل Qwen3 برای متن انگلیسی سر جاش می‌مونه و 5,515 توکن جدید برای DNA اضافه می‌شه. 4,096 تاش همه‌ی 6-merهای ممکن رو پوشش می‌ده، یعنی هر توکن معادل شش باز. برای همین DNA و متن تو یه جریان توکن و یه فضای embedding قرار می‌گیرن و توالی‌های بلند هم راحت تو context مدل که تا 40,960 توکن جا داره، جا می‌شن.

مقایسه‌ی تک‌به‌تک جالب‌تره. روی BioReason Coding، یعنی پیش‌بینی بیماری‌زا بودن جهش تو ناحیه‌های کدکننده‌ی پروتئین، Carbon-X با 74.9 درصد از GPT-6.1 Sol با 71.0 و Opus 5.5 با 70.3 جلوتره. روی NextBase هم با 39.4 درصد اوله، در حالی که Opus 5.5 تقریباً در حد شانسی با 1.1 درصد مونده.

ولی روی BioReason Non-SNV (جهش‌های درج و حذف) Opus 5.5 با 94.8 در برابر 85.1 برنده‌ست، روی FrontierVEP هم 76.2 در برابر 70.4، و روی GenomeQA هم GPT-6.1 Sol با 67.2 در برابر 63.6 جلوتره. مدل‌های باز مثل GLM-5.3، Kimi K3 و DeepSeek V4.1 Flash بین حدود 40 تا 50 درصد موندن.

به گفته‌ی مقاله، داستان اصلی هزینه‌ست. Carbon-X بدون extended reasoning مستقیم جواب می‌ده، پس توکن خروجی کمی مصرف می‌کنه. طبق model card، امتیازدهی به حدود 2.4 میلیون «variant of uncertain significance» تو پایگاه ClinVar با Carbon-X حدود 300 دلار خرج داره، در برابر 32 هزار تا 4 میلیون دلار با مدل‌های بزرگ؛ یعنی هزینه‌ی هر مسئله حدود 1/1800 مدل‌های بزرگه، با فرض GPU مدل H200 ساعتی 5 دلار.

چون مدل کامل تو bfloat16 روی یه GPU هشتاد گیگی جا می‌شه، آزمایشگاه‌ها می‌تونن داده‌ی بیمار رو بدون فرستادن به API بیرونی تحلیل کنن. محدودیت‌هاش: توالی‌هایی که کد ابهام مثل N دارن به توکن خارج از واژگان می‌افتن، و چون با thinking خاموش آموزش دیده، احتمالاً از پرامپت استدلالی سودی نمی‌بره. روی IFEval هم 79.3 درصد گرفته، یعنی هنوز دستیار چت خوبیه.

نکات کلیدی:

• Carbon-X با 14.8 میلیارد پارامتر روی Qwen3-14B ساخته شده و میانگینش روی پنج بنچمارک DNA برابر 66.7 درصده.
• GPT-6.1 Sol با 67.5 درصد فقط کمی جلوتره؛ Carbon-X روی BioReason Coding با 74.9 و NextBase با 39.4 درصد اوله.
• Opus 5.5 روی Non-SNV با 94.8 و FrontierVEP با 76.2 درصد از Carbon-X بهتره.
• tokenizer ترکیبی 5,515 توکن DNA اضافه می‌کنه و هر توکن معادل یه 6-mer یعنی شش باز هست.
• تحلیل 2.4 میلیون جهش ClinVar با Carbon-X حدود 300 دلار و با مدل‌های بزرگ 32 هزار تا 4 میلیون دلار تخمین زده شده.
• مدل کامل در bfloat16 روی یه GPU هشتاد گیگی اجرا می‌شه و روی IFEval امتیاز 79.3 درصد داره.