‏Carbon-X: مدل زبانی DNA که روی یه GPU اجرا می‌شه

Carbon-X یه مدل زبانی open-weight با ۱۴.۸ میلیارد پارامتر از Hugging Face Bio هست که توالی DNA رو داخل یه گفتگوی معمولی می‌خونه و می‌نویسه. می‌تونه بگه یه جهش (mutation) بی‌خطره یا بیماری‌زا، نواحی تنظیمی ژن رو پیدا کنه، توالی رو بر اساس موجود زنده دسته‌بندی کنه و باز بعدی رو پیش‌بینی کنه. تو این مقاله اومده که مهم‌ترین نکته‌ش اینه که کل مدل با دقت bfloat16 روی یه GPU هشتاد گیگی مثل H100 یا H200 جا می‌شه.

یعنی یه آزمایشگاه دانشگاهی یا یه استارتاپ بیوتک بدون کلاستر چندنودی هم می‌تونه اجراش کنه و داده‌ی ژنتیکی حساسش هیچ‌وقت از زیرساخت خودش بیرون نره. نسخه‌ی quantized رسمی (یعنی نسخه‌ی فشرده‌شده با دقت عددی پایین‌تر) نداره، پس اگه GPU چهل گیگی یا کوچیک‌تر داری باید خودت فشرده‌ش کنی و یه کم افت دقت رو بپذیری.

برای اجرا با Python به Transformers نسخه‌ی ۵ یا بالاتر نیاز داری و موقع لود کردن tokenizer باید trust_remote_code=True بدی، چون منطق توکن‌سازی DNA کد سفارشی خود مدله:

model_id = "HuggingFaceBio/Carbon-X"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="cuda")

بعدش chat template رو با enable_thinking=False اعمال می‌کنی، چون مدل همین‌جوری آموزش دیده و بنچمارک شده و تعداد توکن خروجی هم پایین می‌مونه. تنظیمات پیش‌فرض نمونه‌گیری (temperature 0.6، top-p 0.95، top-k 20) هم همونایی هستن که همه‌ی عددهای بنچمارک باهاشون دراومدن. برای محیط production، نویسنده vLLM رو پیشنهاد می‌کنه که با یه دستور یه endpoint سازگار با OpenAI بالا میاره. یه نکته: tokenizer بار اول برای دانلود واژگان BPE به Hub نیاز داره.

مدل یه DNA encoder جدا نداره. واژگان BPE مدل پایه‌ش یعنی Qwen3-14B رو با ۵۵۱۵ توکن DNA گسترش داده: ۴۰۹۶ تا 6-mer (یعنی تیکه‌های شش‌تایی از بازهای A/C/G/T)، ۱۳۶۴ توکن «دنباله» برای طول‌هایی که مضرب شش نیستن، و سه نشونه‌ی ویژه. هر رشته‌ی حداقل شش‌تایی از A/C/G/T خودکار تگ DNA می‌گیره. ولی هر 6-merی که حرفی مثل N داشته باشه به یه توکن تبدیل می‌شه و اطلاعاتش از دست می‌ره، پس بهتره قبلش توالی رو تمیز کنی.

تو بنچمارک‌ها Carbon-X روی پنج آزمون DNA میانگین ۶۶.۷٪ گرفته، ۲۷ امتیاز بالاتر از Qwen3-14B و نزدیک ۶۷.۵٪ مدل GPT-6.1 Sol، هرچند روی بعضی آزمون‌ها مثل FrontierVEP از مدل‌های بزرگ‌تر عقب‌تره. برگ برنده‌ش هزینه‌ست: به گفته‌ی model card، بررسی ۲.۴ میلیون واریانت نامشخص ClinVar با Carbon-X حدود ۳۰۰ دلار درمیاد، در برابر ۳۲ هزار تا ۴ میلیون دلار با مدل‌های frontier. تو کارهای عمومی هم بد نیست و روی IFEval دقت ۷۹.۳٪ گرفته.

نکات کلیدی:

• مدل ۱۴.۸ میلیارد پارامتره و با bfloat16 روی یه GPU هشتاد گیگی (H100/H200) جا می‌شه.
• به Transformers v5 به بالا و trust_remote_code=True برای tokenizer نیاز داره.
• حالت thinking باید خاموش بمونه (enable_thinking=False)؛ همه‌ی بنچمارک‌ها با همین تنظیم گرفته شدن.
• میانگین ۶۶.۷٪ روی پنج بنچمارک DNA، در برابر ۶۷.۵٪ برای GPT-6.1 Sol.
• هزینه‌ی تخمینی بررسی ۲.۴ میلیون واریانت ClinVar حدود ۳۰۰ دلاره، در برابر ۳۲ هزار تا ۴ میلیون دلار.
• بازهای مبهم مثل N توی 6-mer به توکن تبدیل می‌شن و دقت رو پایین میارن.