معماری DeepSeek V3 در ۱۹۰ خط JAX خالص
خلاصهٔ کاملتر
این پروژهٔ گیتهاب، معماری مقالهٔ فنی DeepSeek-V3 رو تو ۱۹۰ خط JAX خالص پیاده کرده؛ بدون Flax و Equinox و PyTorch. پارامترها dictهای ساده از آرایهها هستن و هر بخش مدل یه تابع معمولیه که میشه از بالا تا پایین تو فایل deepseek_v3.py خوندش. به گفتهٔ نویسنده این یه دموی معماریه، نه یه مدل زبانی قوی.
اولین ایدهٔ پیادهشده Multi-head Latent Attention یا MLA هست، یعنی بهجای ذخیرهٔ کامل key و value برای هر توکن، فقط یه بردار فشرده (latent) کش میشه. اینجا این کار حجم کش رو از ۴۸۰ به ۱۴۴ عدد برای هر توکن در هر لایه کم کرده. کنارش Decoupled RoPE هست، یعنی یه کلید چرخشی مشترک بین همهٔ headها که بیرون از latent فشرده نگه داشته میشه.
ایدهٔ دوم DeepSeekMoE هست: یه expert مشترک که همیشه اجرا میشه، بهاضافهٔ ۱۶ expert دیگه که برای هر توکن ۴تاشون انتخاب میشن. برای اینکه بار بین expertها پخش بشه، بهجای loss کمکی یه bias برای هر expert هست که مسیریابی رو سمت expertهای بیکار هل میده. این bias فقط روی اینکه کدوم expert انتخاب بشه اثر داره، نه وزنشون. یه loss کوچیک تکمیلی (α = 1e-4) و Multi-token prediction هم هست که توکنِ بعد از بعدی رو هم پیشبینی میکنه (با وزن λ = 0.3).
نتیجه روی MacBook Air M5 با ۲۴ گیگ رم: مدل ۳۶.۲ میلیون پارامتر داره که ۱۳.۶ میلیونش برای هر توکن فعاله. روی ۲۰۷ کتاب و حدود ۹۸ میلیون توکن، ۱۲ هزار قدم تو حدود ۲.۶ ساعت آموزش دید و validation loss از ۵.۰۲ به ۳.۵۱ رسید. با bias، بار هر expert بین ۵.۷ تا ۶.۹ درصد بود (حالت ایدهآل ۶.۲۵) و بدون bias بین ۰.۰۹ تا ۱۸.۶ درصد. loss تو هر دو حالت تقریباً یکی بود (۳.۹۲۱ در برابر ۳.۹۲۳)، یعنی تعادل بار هزینهای نداره؛ همون ادعای مقالهٔ اصلی.
سادگیها هم صریح گفته شده: همهٔ expertها روی همهٔ توکنها اجرا میشن و خروجی انتخابنشدهها صفر میشه، MLA بدون weight absorption هست، و FP8، DualPipe و YaRN نیستن. کد روی CPU و GPUهای AMD با ROCm هم اجرا میشه؛ روی RX 7600 XT کل آموزش حدود ۵۰ دقیقه طول کشید. یه هشدار امنیتی هم داره: checkpoint یه فایل pickle پایتونه که موقع لود شدن میتونه کد اجرا کنه، پس فقط از منبع مطمئن لودش کنید.
نکات کلیدی:
- کل مدل ۱۹۰ خط JAX خالصه، بدون Flax و PyTorch، با لایسنس MIT.
- MLA حجم کش هر توکن در هر لایه رو از ۴۸۰ به ۱۴۴ عدد رسونده.
- ۱ expert مشترک و ۱۶ expert مسیریابیشده، با انتخاب ۴تا برای هر توکن.
- آموزش روی MacBook Air M5 حدود ۲.۶ ساعت طول کشید و validation loss به ۳.۵۱ رسید.
- در مقایسه با اصل: ۳۶.۲ میلیون پارامتر در برابر ۶۷۱ میلیارد، ۶ لایه در برابر ۶۱، و context ۲۵۶ توکن در برابر ۱۲۸ هزار.
- checkpoint فایل pickle هست و فقط باید از منبع مطمئن لود بشه.




