‏Carbon-X: مدل زبانی متن‌باز که DNA می‌فهمه

Carbon-X یه مدل decoder-only با ۱۴.۸ میلیارد پارامتره که روی Qwen3-14B ساخته شده و می‌تونه وسط یه چت معمولی توالی DNA بخونه و بنویسه. کاربردهاش سؤال درباره‌ی اثر جهش‌ها، نواحی تنظیم ژن، طبقه‌بندی گونه و پیش‌بینی باز بعدیه. کل مدل با دقت bfloat16 روی یه GPU هشتاد گیگی مثل H100 یا H200 جا می‌شه، یعنی آزمایشگاه می‌تونه بدون فرستادن داده‌ی ژنتیکی به بیرون، خودش اجراش کنه.

نکته‌ی جالبش tokenizer ترکیبیشه (یعنی بخشی که متن رو به توکن می‌شکنه). به جای یه encoder جدا برای DNA، به واژگان BPE مدل Qwen3 تعداد ۵۵۱۵ توکن مخصوص DNA اضافه شده: ۴۰۹۶ تا 6-mer (یعنی تکه‌های شش‌تایی از بازها)، ۱۳۶۴ توکن برای دنباله‌هایی که طولشون مضرب شش نیست و سه نشانه‌ی ویژه. هر رشته‌ای که حداقل ۶ باز A/C/G/T داشته باشه خودکار شناسایی و تو تگ پیچیده می‌شه. پس یه توالی ۳۶ بازی می‌شه ۶ توکن و می‌تونی DNA خام رو مستقیم کنار متن بچسبونی.

یه محدودیت هم داره: هر 6-mer غیراستاندارد، مثلاً با حرف N، به یه توکن تبدیل می‌شه و جزئیاتش از دست می‌ره. برای همین اگه دقت تک‌باز برات مهمه، بهتره اول توالی رو فقط به A/C/G/T فیلتر کنی. با auto_dna_tags=False هم می‌شه تشخیص خودکار رو خاموش کرد.

برای اجرا دو راه هست. با Transformers باید نسخه‌ی ۵ به بالا داشته باشی و موقع لود tokenizer گزینه‌ی trust_remote_code=True رو بدی، چون کد tokenizer سفارشیه:

model_id = "HuggingFaceBio/Carbon-X"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="cuda")

راه دوم vLLM هست که یه API سازگار با OpenAI می‌ده و برای وصل کردن به pipelineهای agent راحت‌تره. تو هر دو حالت باید enable_thinking=False باشه، چون مدل با همین تنظیم آموزش دیده و ارزیابی شده. تنظیمات نمونه‌برداری پیش‌فرض (temperature 0.6، top-p 0.95، top-k 20) هم همونایی هستن که نمره‌های منتشرشده باهاشون گرفته شدن. تو مقاله اومده که بهترین کاربردش اینه که یه دستیار عمومی سؤال‌های DNA رو به Carbon-X بسپاره و بقیه‌ی کارها رو خودش انجام بده.

تو پنج بنچمارک DNA، میانگین Carbon-X حدود ۶۶.۷ درصده، یعنی ۲۷ امتیاز بالاتر از Qwen3-14B و فقط یه کم پایین‌تر از ۶۷.۵ درصد GPT-6.1 Sol، اونم با حدود یک‌هزار و هشتصدم هزینه برای هر مسئله. تخمین زده شده بررسی ۲.۴ میلیون واریانت ClinVar با این مدل حدود ۳۰۰ دلار خرج داره. ولی همه‌جا برنده نیست: تو BioReason Non-SNV و FrontierVEP مدل Opus 5.5 و تو GenomeQA مدل GPT-6.1 Sol بهتر عمل کردن.

نکات کلیدی:

• Carbon-X با ۱۴.۸ میلیارد پارامتر روی Qwen3-14B ساخته شده و روی یه GPU هشتاد گیگی در bfloat16 جا می‌شه.
• tokenizer اون ۵۵۱۵ توکن DNA داره و هر ۶ باز رو یه توکن حساب می‌کنه.
• طول context اون ۴۰۹۶۰ توکنه.
• برای لود، Transformers نسخه‌ی ۵ و گزینه‌ی trust_remote_code=True لازمه و حالت thinking باید خاموش بمونه.
• میانگین ۶۶.۷ درصد در برابر ۶۷.۵ درصد GPT-6.1 Sol، با هزینه‌ای حدود ۱۸۰۰ برابر کمتر.