‏Carbon-X: مدلی که DNA رو مثل یه زبان دیگه می‌فهمه

طبق این مقاله، Carbon-X یه مدل open-weight با 14.8 میلیارد پارامتر از خانواده‌ی مدل‌های Carbon روی Hugging Face هست. نقطه‌ی شروعش Qwen3-14B بوده، یه مدل متنی باز، و بهش یاد دادن DNA رو مثل یه زبان دیگه بفهمه. کاربر توالی خام DNA رو کنار یه سؤال انگلیسی تو پرامپت می‌ذاره و مدل به انگلیسی جواب می‌ده: این جهش احتمالاً بیماری‌زاست یا نه، این توالی مال چه موجودی یا چه کاربردیه، یا بازهای بعدی چی هستن.

ترفند اصلی سادگی معماریه. خیلی از سیستم‌های قبلی یه encoder مخصوص ژنوم رو به یه مدل زبانی وصل می‌کردن. Carbon-X فقط یه decoder-only Transformer داره و DNA و متن تو یه جریان توکن، با همون لایه‌های attention و همون وزن‌ها پردازش می‌شن. یعنی هیچ ماژول جدایی نیست که DNA رو خلاصه کنه و تحویل مدل زبانی بده؛ مدل مستقیم روی توکن‌های DNA استدلال می‌کنه.

این کار با یه tokenizer ترکیبی ممکن شده. متن با همون واژگان BPE مدل Qwen3 توکن می‌شه. برای DNA، هر رشته‌ای که حداقل شش باز استاندارد (A، C، G، T) داشته باشه خودکار شناسایی می‌شه، بین تگ‌های مخصوص DNA قرار می‌گیره و به 6-merهای بدون هم‌پوشانی شکسته می‌شه، یعنی تکه‌های شش‌بازی. این‌جوری 4,096 توکن ممکن به دست میاد، به‌علاوه‌ی 1,364 توکن «tail» برای طول‌هایی که مضرب شش نیستن؛ در کل 5,515 توکن DNA تو یه واژگان 157,184 تایی. یعنی لازم نیست DNA رو از قبل آماده کنی.

آموزش چند مرحله داشته. اول توکن‌های جدید با embedding تصادفی اضافه شدن و حدود 10 میلیارد توکن فقط همین‌ها آموزش دیدن و بقیه‌ی شبکه فریز بوده. بعد mid-training سنگین با 302 میلیارد توکن اومده: 55 درصد DNA خام از ژنوم یوکاریوت‌ها، پروکاریوت‌ها و mRNA، 20 درصد متن انگلیسی عمومی، 15 درصد متن زیستی و 10 درصد داده‌ی چت و دستورالعمل. طبق model card، learning rate مهم‌ترین متغیر بوده: کم باشه مدل DNA یاد نمی‌گیره، زیاد باشه انگلیسی نوشتن یادش می‌ره.

بعد fine-tuning روی 20 زیرمجموعه‌ی داده و در آخر یادگیری تقویتی با GRPO انجام شده؛ پاداش‌ها رو verifierهایی می‌دن که با کد چک می‌کنن، نه یه reward model یادگرفته. نتیجه: میانگین 66.7 درصد روی پنج بنچمارک DNA، حدود 27 امتیاز بالاتر از Qwen3-14B و کمی زیر قوی‌ترین مدل تجاری با 67.5 درصد. روی اثر جهش‌های کدکننده و پیش‌بینی باز بعدی اوله، ولی روی جهش‌های پیچیده و splice site ضعیف‌تره.

چون مستقیم جواب می‌ده، تحلیل 2.4 میلیون جهش نامشخص ClinVar حدود 300 دلار تخمین زده شده، در برابر 32 هزار تا چند میلیون دلار با مدل‌های بزرگ تجاری. وزن‌ها تو bfloat16 روی یه GPU هشتاد گیگی جا می‌شن و امتیاز IFEval هم 79.3 درصده.

نکات کلیدی:

• Carbon-X با 14.8 میلیارد پارامتر از Qwen3-14B ساخته شده و فقط یه decoder برای DNA و متن داره.
• tokenizer ترکیبی 5,515 توکن DNA داره؛ 4,096 تا 6-mer و 1,364 توکن tail، تو یه واژگان 157,184 تایی.
• mid-training روی 302 میلیارد توکن با 55 درصد DNA خام انجام شده و learning rate حساس‌ترین تنظیم بوده.
• یادگیری تقویتی با GRPO و پاداش‌های چک‌شده با کد، تو دو دوره انجام شده.
• میانگین 66.7 درصد روی پنج بنچمارک، حدود 27 امتیاز بالاتر از مدل پایه.
• بازهای مبهم مثل N، R یا Y به توکن خارج از واژگان می‌افتن و دقتشون کمتر می‌شه.