اجرای Qwen 3.8 Flash Next روی یه سیستم هزار دلاری
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مقاله یه تست سخت‌افزاری گزارش شده: مدل Qwen 3.8 Flash Next از تیم Qwen علی‌بابا روی یه سیستم حدوداً هزار دلاری اجرا شده. این مدل MoE هست (یعنی mixture-of-experts، که برای هر توکن فقط بخشی از پارامترهاش فعال میشه) و چندوجهیه، یعنی هم عکس و هم متن می‌گیره. نسخه‌های فشرده‌ش رو ISTA-DASLab با روش کوانتیزیشن GSQ-RCO به فرمت GGUF منتشر کرده. ترکیب MoE و کوانتیزیشن باعث میشه مدل هم سریع باشه و هم تو VRAM کارت‌های معمولی جا بشه.
سیستم از صفر ساخته نشده. پایه‌ش یه ورک‌استیشن Dell Precision T5810 مال حدود ۲۰۱۵ هست که حدود ۱۵۰ دلار خریده شده و دو اسلات PCIe Gen 3 x16 کامل داره. بقیه قطعه‌ها: دو تا RTX 3060 دوازده گیگی (روی هم ۲۴ گیگ VRAM)، پردازنده Xeon E5-2696 V4 با ۲۲ هسته، ۶۴ گیگ رم DDR4 2133 و یه SSD یک ترابایتی. به گفته نویسنده، RTX 3060 دست‌دوم یکی از ارزون‌ترین راه‌ها برای گرفتن VRAM زیاده. مصرف برق GPUها موقع اجرا حدود ۲۰۰ وات بوده.
برای اجرای مدل از موتور استنتاج Strata استفاده شده. داشبوردش خیلی ساده‌ست و به‌جای رابط چت، فقط مصرف GPU و VRAM و رم، اندازه context و سرعت توکن رو نشون می‌ده. مزیت اصلی‌ش اینه که مدل رو بدون دردسر روی دو GPU پخش کرده و لازم نبوده کاربر دستی تنظیمات tensor-parallel رو انجام بده. پنجره context هم تو همه تست‌ها روی ۲۵۶K ثابت مونده.
برای مقایسه، یه پرامپت سخت به چهار سطح کوانتیزیشن داده شد: ساختن یه SVG متحرک از گربه‌ای که روی نرده راه می‌ره. نسخه Q2_0 که از همه فشرده‌تره، یه گربه تخت و تقریباً بی‌حرکت ساخت، با ۱۵,۲۷۵ توکن و سرعت ۶۳.۳ توکن در ثانیه. IQ2_XS حدود ۸۵,۸۴۴ توکن فکر کرد ولی خروجی‌ش باگ انیمیشن داشت. IQ3_XXS با ۳۷,۸۱۵ توکن و سرعت ۵۲.۴ یه صحنه درست‌وحسابی با برگ و ماه و پرنده ساخت، هرچند حرکت پای گربه یه کم به‌هم‌ریخته بود.
بهترین نتیجه مال IQ3_S بود که بزرگ‌ترین نسخه تست‌شده‌ست. خروجی‌ش انیمیشن روون با افکت parallax وابسته به حرکت موس، دکمه روز و شب، دکمه توقف و کنترل سرعت انیمیشن داشت. مدل حتی بدون درخواست، ساختار SVG و منطق viewBox رو هم توضیح داد. نویسنده می‌گه این همون الگوی همیشگیه: کوانتیزیشن کم‌بیت‌تر VRAM کمتری می‌خواد ولی توانایی مدل تو کارهای چندمرحله‌ای رو پایین میاره.
مصرف رم از حدود ۴۱.۸ گیگ برای Q2_0 تا حدود ۵۳.۴ گیگ برای IQ3_S بالا رفت. به نظر نویسنده، این سیستم برای کسی که بدون اجاره GPU ابری یه مدل محلی جدی می‌خواد ارزش داره، ولی ۶۴ گیگ رم یه کم تنگه اگه کارهای دیگه هم همزمان اجرا بشن. این مدل یه نسخه پیش‌نمایش قبل از نسل بعدی Qwen هست و انتظار می‌ره همین رفتار کوانتیزیشن رو نسخه‌های بعدی هم داشته باشه.
نکات کلیدی:
- سرعت تولید توکن تو همه سطح‌های کوانتیزیشن بین حدود ۵۰ تا ۶۳ توکن در ثانیه بوده.
- سخت‌افزار: Dell Precision T5810 حدود ۱۵۰ دلاری، دو RTX 3060 دوازده گیگی و ۶۴ گیگ رم DDR4.
- چهار سطح GSQ-RCO تست شد: Q2_0، IQ2_XS، IQ3_XXS و IQ3_S.
- مصرف رم از ۴۱.۸ گیگ (Q2_0) تا ۵۳.۴ گیگ (IQ3_S) بوده.
- IQ3_S با فاصله زیاد بهترین خروجی رو تو تست SVG متحرک داد.
