DetLLM: خروجی یکسان مدل زبانی روی هر سختافزار
خلاصهٔ کاملتر
نویسنده کارش رو از یه مقالهٔ Thinking Machines شروع میکنه. اونجا یه پرامپت رو ۱۰۰۰ بار با greedy decoding (یعنی مدل همیشه محتملترین توکن رو انتخاب کنه) فرستادن و ۸۰ جواب متفاوت گرفتن. دلیلش اینه که جمع اعداد اعشاری شرکتپذیر نیست: هر جمع یه گرد کردن داره، پس ترتیب جمع روی نتیجه اثر میذاره. مثال خود مقاله:
>>> (0.1 + 1e20) - 1e20
0.0
>>> 0.1 + (1e20 - 1e20)
0.1به گفتهٔ نویسنده، مشکل اصلی تصادفی بودن ترتیب threadها نیست. kernelها معمولاً تو اجراهای تکراری همون نتیجه رو میدن، ولی batch invariant نیستن. یعنی cuBLAS بسته به اندازهٔ batch یه kernel متفاوت انتخاب میکنه و ترتیب جمع عوض میشه. اندازهٔ batch هم به تعداد درخواستهای بقیهٔ کاربرها بستگی داره. Thinking Machines با kernelهای مخصوص این مشکل رو روی یه GPU حل کرد، ولی بین A100، H100 و CPU هنوز جوابها فرق دارن.
ایدهٔ نویسنده سادهست: جمع اعداد صحیح دقیقه و ترتیب توش مهم نیست. ولی int8 inference معمولی کافی نیست، چون فقط matmulها با عدد صحیح اجرا میشن و softmax، RMSNorm، SwiGLU و rotary embedding دوباره برمیگردن به float. DetLLM کل مسیر از توکن ورودی تا logitهای int32 رو با عدد صحیح اجرا میکنه و از عملگرهای پروژهٔ I-LLM استفاده میکنه. هر tensor یه scale به شکل m تقسیم بر توانی از ۲ داره، پس تغییر مقیاس فقط یه ضرب صحیح و یه shift میشه.
فعالسازی هر توکن فقط از مقدارهای خودش quantize میشه، برای همین به بقیهٔ batch وابسته نیست. برای KV cache از scaleهای ثابتی استفاده میشه که از قبل calibrate شدن. تنها بخش وابسته به سختافزار ضرب ماتریسی int8 در int8 هست. یه گارد هم هر tensor اعشاری تو forward pass رو به خطا تبدیل میکنه، و argmax موقع تساوی همیشه توکن با id کمتر رو انتخاب میکنه.
تو آزمایش اصلی، مدل ۵۱۲ توکن بعد از ۶۴ توکن اول یه غزل شکسپیر تولید میکنه و logitها تو هر مرحله hash میشن. ۹ پیکربندی روی A100، H100، دو CPU سرور و Apple M1 Pro اجرا شدن. نسخهٔ int8 تو همهٔ ۹ تا یه hash داد، ولی fp16 نُه hash متفاوت. نکتهٔ جالب اینکه هشت اجرای fp16 با اینکه logitها فرق داشت، همون توکنها رو تولید کردن. ولی تو مرحلهٔ ۴۵۷ فاصلهٔ دو کاندید اول فقط 0.03 بود و روی M1 Pro متن از یه جای دیگه ادامه پیدا کرد. یعنی ناپایداری float معمولاً پنهانه، نه غایب.
کیفیت مدل تقریباً عوض نشده: perplexity روی WikiText2 برابر 20.72 در مقابل 20.95 برای fp16 بوده و روی C4 فقط 0.4 درصد بدتر. سرعت اول خیلی پایین بود، چون جز ضرب int8 تقریباً kernel آمادهای وجود نداره. بعد از ادغام عملیات، CUDA graph و یه kernel توجه با Triton، سرعت decode روی A100 از 0.8 به 106 توکن در ثانیه رسید. نویسنده میگه این فعلاً proof of concept هست و مدلهای بزرگتر و سرعت prefill هنوز کار دارن.
نکات کلیدی:
- DetLLM مدل Qwen3-0.6B رو بدون هیچ عملیات اعشاری اجرا میکنه
- ۹ پیکربندی روی A100، H100 و سه CPU یه hash یکسان دادن، fp16 نُه hash متفاوت
- perplexity روی WikiText2: عدد 20.72 برای int8 در برابر 20.95 برای fp16
- سرعت decode روی A100 با batch 1 بعد از بهینهسازی به 106.3 توکن در ثانیه رسید
- prefill هنوز حدود 0.13 برابر سرعت fp16 هست
- کار بهعنوان مقاله تو دو workshop کنفرانس NeurIPS 2026 پذیرفته شده




