‏Carbon-X: مدل زبانی متن‌باز برای فهم DNA

Carbon-X یه مدل زبانی open-weight (یعنی وزن‌هاش رو می‌شه دانلود کرد و خودت اجراش کنی) با ۱۴.۸ میلیارد پارامتره که هم‌زمان روی توالی‌های ژنتیکی و متن معمولی آموزش دیده. تو این مقاله اومده که تو پنج بنچمارک DNA، یعنی BioReason Coding، BioReason Non-SNV، GenomeQA، NextBase و FrontierVEP، میانگین ۶۶.۷ درصد گرفته. این عدد فقط یه کم از ۶۷.۵ درصد GPT-6.1 Sol کمتره و از Opus 5.5 با ۶۰.۹ درصد، و همین‌طور Gemini 4 Argon، GLM-5.3، Kimi K3 و DeepSeek V4.1 Flash بالاتره.

پایه این مدل Qwen3-14B هست. فرقش یه tokenizer ترکیبیه (یعنی بخشی که ورودی رو به تیکه‌های قابل فهم برای مدل می‌شکنه): متن با همون واژگان BPE معمولی Qwen3 تیکه می‌شه، ولی DNA به صورت 6-merهای بدون هم‌پوشانی کد می‌شه، یعنی هر توکن نماینده شش تا باز هست. کل واژگان ۱۵۷٬۱۸۴ توکنه که ۵٬۵۱۵ تاش مال DNA هست. نتیجه عملیش اینه که می‌تونی یه توالی خام DNA رو مستقیم تو پیام بچسبونی و tokenizer خودش رشته‌های حداقل شش‌تایی A/C/G/T رو تشخیص می‌ده و تو تگ dna می‌پیچه.

خود معماری یه transformer چهل‌لایه‌ست با grouped-query attention (چهل head برای query و هشت تا برای KV)، SwiGLU و RMSNorm، و context window حدود ۴۰٬۹۶۰ توکن داره که برای توالی‌های چند هزار بازی کنار یه prompt مفصل کافیه.

آموزش مرحله‌به‌مرحله بوده: اول فقط embeddingهای DNA حدود ۱۰ میلیارد توکن آموزش دیدن و بقیه مدل قفل بوده. بعد یه mid-training با ۳۰۲ میلیارد توکن اومده که ۵۵ درصدش DNA خام بوده. به گفته تیم، حساس‌ترین تنظیم learning rate بوده: کم باشه مدل الگوهای DNA رو یاد نمی‌گیره، زیاد باشه انگلیسی رو یادش می‌ره. بعدش fine-tuning روی ۲۰ زیرمجموعه داده و در آخر reinforcement learning با GRPO روی حدود ۱۵۰ هزار prompt انجام شده. داده‌ها هم سه بار در برابر بنچمارک‌ها پاک‌سازی شدن تا نمره الکی بالا نره.

نتایج یکدست نیست: Carbon-X تو BioReason Coding با ۷۴.۹ درصد و NextBase با ۳۹.۴ درصد اوله، ولی تو سه تای دیگه عقب‌تره، مثلاً تو BioReason Non-SNV با ۸۵.۱ درصد در برابر ۹۴.۸ درصد Opus 5.5. نویسنده می‌گه نکته جالب‌تر ناپایداری مدل‌های بزرگه. Opus 5.5 تو NextBase فقط ۱.۱ درصد گرفته و Gemini 4 Argon تو BioReason Coding فقط ۶.۵ درصد. یعنی مدل‌های همه‌کاره تو انواع مختلف کار ژنومیک یکسان قوی نیستن. Carbon-X تو IFEval هم ۷۹.۳ درصد گرفته، یعنی توانایی پیروی از دستورش رو از دست نداده.

برگ برنده اصلی هزینه‌ست. چون Carbon-X بدون chain-of-thought (یعنی بدون نوشتن استدلال طولانی قبل از جواب) مستقیم جواب می‌ده، توکن خروجی خیلی کمتری مصرف می‌کنه. طبق model card، بررسی ۲.۴ میلیون واریانت نامشخص تو ClinVar با Carbon-X حدود ۳۰۰ دلار خرج داره، در حالی که با مدل‌های بزرگ بین ۳۲ هزار تا ۴ میلیون دلار می‌شه. وزن‌هاش هم تو bfloat16 روی یه GPU هشتاد گیگی جا می‌شه، پس آزمایشگاه‌ها می‌تونن داده حساس ژنتیکی رو بدون فرستادن به API بیرونی پردازش کنن. البته رو GPUهای معمولی خونگی جا نمی‌شه.

نکات کلیدی:

• میانگین ۶۶.۷ درصد در پنج بنچمارک DNA، در برابر ۶۷.۵ درصد GPT-6.1 Sol و ۶۰.۹ درصد Opus 5.5
• ساخته‌شده روی Qwen3-14B با tokenizer ترکیبی که DNA رو به 6-mer تبدیل می‌کنه
• حدود ۱۸۰۰ برابر هزینه کمتر برای هر مسئله نسبت به مدل‌های بزرگ
• بررسی ۲.۴ میلیون واریانت ClinVar با حدود ۳۰۰ دلار در برابر ۳۲ هزار تا ۴ میلیون دلار
• اجرا روی یه GPU هشتاد گیگی در bfloat16، بدون نیاز به API بیرونی
• Opus 5.5 تو NextBase فقط ۱.۱ درصد گرفته