‏مدل‌های زبانی کوچک در مرورگر؛ آینده‌ای جذاب یا دردسری تازه؟

مدل‌های زبانی کوچک (SLM) الان توی Chrome و Edge پشت یه فلگ آزمایشی قرار دارن و از طریق APIهایی مثل Prompt API، Summarizer و Rewriter قابل استفاده‌ان. نویسنده با وجود احساسات پیچیده‌اش نسبت به هوش مصنوعی مولد، می‌گه که روی این ایده خاص نسبتاً خوش‌بینه.

دلیل اصلی این خوش‌بینی اینه که SLMها یه ویب بدون وابستگی به ابر رو ممکن می‌کنن. چرا باید هر ماه به یه شرکت بزرگ پول بدیم تا یه ایمیل رو خلاصه کنه؟ این مدل‌ها روی دستگاه کاربر اجرا میشن، داده‌ای جایی نمیره، رایگانه و اغلب اوپن‌سورسه. برای کارهای روزمره مثل درست کردن یه متن یا خلاصه‌سازی، نیازی به یه مدل چند تریلیون پارامتری نیست.

قدرت API هم در سادگیشه. کلاینت‌ساید محضه، هیچ سرور یا third-party callی وسط نیست. فقط یه prompt میدی و جواب می‌گیری:

const session = await ai.languageModel.create();
const result = await session.prompt("Summarize this email in 2 sentences.");
console.log(result);

نویسنده می‌گه می‌شه یه پروتوتایپ جذاب با همین مدل‌های درون‌مرورگری توی CodePen ساخت و بعد در صورت نیاز به LLM بزرگ‌تر مهاجرت کرد. برعکسش خیلی سخت‌تره؛ کاهش هزینه‌ی یه workflow با context window چند میلیون توکنی تقریباً غیرممکنه.

اما از طرف دیگه، موزیلا هفته‌ی پیش موضع رسمی منفی گرفت. سه نگرانی اصلی مطرح شد: اول «کلسیفیکاسیون مدل»؛ یعنی توسعه‌دهنده‌ها prompt هاشون رو برای مدل خاص گوگل تنظیم می‌کنن و این یه نسخه‌ی جدید از مشکل «سایت‌های Chrome-only» میشه. دوم، TOS گوگل عملاً TOS همه‌ی مرورگرها میشه. سوم، گوگل توی explainerش از خودش سیتیشن زده.

نویسنده با موزیلا موافقه. یه مدل هوش مصنوعی در واقع یه موتور جدید و غیرقطعی به استک HTML/CSS/JS اضافه می‌کنه که ممکنه جواب‌های غلط بده و رفتارش بسته به مدل کاملاً فرق داشته باشه. استانداردسازی چیزی که ذاتاً unpredictable و flaky هست، سؤال بزرگیه.

ضمناً، ادعای «رایگان و خصوصی بودن» یه caveat بزرگ داره: اگه کاربر GPU مناسب نداشته باشه، باز به سرور شخص دیگه‌ای وابسته‌ست. این با اصل دسترسی جهانی وب مغایرت داره.

نویسنده چند پیشنهاد برای بهبود وضع مطرح می‌کنه: ایجاد یه مارکت‌پلیس برای SLMهای متنوع (نه انحصار یه مدل)، ابزارهایی برای ساخت مدل روی سخت‌افزار مصرف‌کننده، APIهای safety classifier، و یه fallback قوی برای دستگاه‌های ضعیف. حتی می‌گه اگه مشکل دقت حل نشه، شاید بهتره اصلاً این spec رها بشه تا تکنولوژی بالغ‌تر بشه.

در نهایت نویسنده خوش‌بینه اما با احتیاط؛ SLMهای درون‌مرورگری می‌تونن آینده‌ی جالبی داشته باشن، ولی فقط اگه درست پیاده‌سازی بشن.

نکات کلیدی:

• SLMها در Chrome و Edge پشت فلگ آزمایشی هستن و از طریق Prompt API قابل استفاده‌ان
• مزایا: رایگان، آفلاین، خصوصی، بدون نیاز به سرور یا API key
• موزیلا رسماً مخالف استانداردسازی این APIهاست
• خطر اصلی: انحصار مدل گوگل و تکرار مشکل سایت‌های Chrome-only
• SLMها برای دستگاه‌های بدون GPU همچنان به کلود وابسته‌ان
• نویسنده خواهان تنوع مدل، safety classifierها و fallback قوی‌تر است
• اگه مشکل دقت حل نشه، شاید بهتر باشه spec کلاً کنار گذاشته بشه