ردپای چیپهای Blackwell انویدیا تو مدلهای چینی
خلاصهٔ کاملتر
تو این گزارش، تیم نویسنده با بررسی وزنهای منتشرشدهٔ مدلهای چینی به این نتیجه رسیده که DeepSeek-V4-Flash، DeepSeek-V4-Pro، Kimi K3، Kimi K3.1-Pro، MiniMax-M3 و Ling-3.1-flash روی چیپهای Blackwell انویدیا ساخته شدن. نسخههای قبلی همین شرکتها هنوز الگوی نسل قدیمیتر یعنی Hopper رو نشون میدن. پیش از این مقامهای آمریکایی و رسانهها هم ادعا کرده بودن DeepSeek و Moonshot از Blackwell استفاده میکنن، ولی مدرک فنی منتشر نشده بود.
روش کار جالبه. وزنهای یه مدل قبل از آموزش با یه مولد عدد شبهتصادفی به اسم Philox (یعنی الگوریتمی که با یه seed ثابت همیشه همون اعداد رو میده) پر میشن. PyTorch این کارو بین threadهای GPU پخش میکنه و تعداد threadها به تعداد SM یا همون هستههای پردازشی چیپ بستگی داره. Hopper با ۱۳۲ SM، سری B200/B300 با ۱۴۸ و GB200/GB300 با ۱۵۲ SM، هر کدوم اعداد رو تو جاهای متفاوتی میچینن. پس چینش وزنها یه جور اثر انگشت از سختافزاره.
بعضی وزنها، مثلاً اونایی که برای توکنهایی هستن که تو آموزش دیده نشدن، تقریباً دستنخورده میمونن. نویسندهها با جستجو بین حدود ۶ تریلیون ترکیب seed و چینش، ترکیبی رو پیدا کردن که این مقادیر رو بازسازی میکنه. حتی وزنهای آموزشدیده هم یه ردّ ضعیف از مقدار اولیهشون نگه میدارن. برای DeepSeek-V4-Flash با seed شمارهٔ 953049583 روی یه B300 واقعی، 445 ردیف کامل بیت به بیت بازسازی شد، در حالی که H100 نتونست.
به گفتهٔ گزارش، احتمال تصادفی بودن این تطابقها خیلی پایینه. سقف شانس تو این حجم جستجو حدود ۸ سیگماست، ولی قویترین شواهد هر مدل بین ۴۹ تا ۱۳۸۵ سیگما بوده. روش رو روی ۲۴ مدلی هم تست کردن که سازندهشون سختافزار رو اعلام کرده بود و همه درست دراومدن. تنها جایگزین ممکن، کارت AMD MI300X با تنظیمات خیلی غیرعادیه که برای V4-Flash رد شده و برای بقیه هم بعید دونسته شده.
نویسندهها محدودیتها رو هم صادقانه گفتن. این روش فقط سختافزار مقداردهی اولیه رو نشون میده، نه لزوماً کل آموزش رو. همینطور نمیگه چیپها مال کی بودن یا کجا بودن؛ Blackwell رو میشه از دیتاسنترهای بیرون از چین هم اجاره کرد. یعنی گزارش دسترسی به سختافزار رو ثابت میکنه، نه قاچاق یا نقض قانون صادرات رو.
تخمین گزارش اینه که بزرگترین اجراها یعنی Kimi K3 و DeepSeek-V4-Pro حدود ۴۵۰۰ و ۳۰۰۰ GPU از نوع Blackwell رو دو تا سه ماه درگیر کردن، و کل پنج اجرا حدود ۱۲ هزار GPU. با قیمت تقریبی ۷۰ هزار دلار برای هر GPU، این یعنی بیش از نیم میلیارد دلار سختافزار. خود نویسندهها میگن به این اعداد مطمئن نیستن، چون به فرضهایی مثل طول اجرا و بهرهوری GPU بستگی دارن.
نکات کلیدی:
- شش مدل از DeepSeek، Moonshot، MiniMax و Ant Group الگوی Blackwell دارن
- B200/B300 با ۱۴۸ SM و GB200/GB300 با ۱۵۲ SM، Hopper با ۱۳۲ SM
- برای DeepSeek-V4-Flash تطابق روی B300 واقعی و با ۱۳۸۵ سیگما تأیید شده
- مدلهای جدید Qwen، GLM، Tencent، Xiaomi و StepFun هنوز الگوی Hopper دارن
- تخمین حدود ۱۲ هزار GPU از نوع Blackwell برای پنج اجرای آموزشی
- گزارش محل چیپها یا نقض قوانین صادرات رو ثابت نمیکنه




