پلتفرم‌های عامل هوش مصنوعی مدیریت‌شده حالا علاوه بر توکن، بابت زمان زنده‌موندن سشن هم پول می‌گیرن؛ همین باعث شده شرکت‌های مدل و ابری استراتژی‌های قفل‌کردن مشتری کاملاً متفاوتی پیش بگیرن.

۱۲ ساعت پیش۳ دقیقهmindstudio.ai

ZLUDA به برنامه‌های CUDA اجازه می‌ده بدون بازنویسی روی کارت گرافیک AMD اجرا بشن، و یه پروژهٔ جدید نصبش رو روی ویندوز خیلی راحت‌تر کرده.

۱۲ ساعت پیش۳ دقیقهmindstudio.ai

جا کردنِ یه مدل ۲۷ میلیاردی تو یه مینی‌پی‌سی کف‌دستی راحته، ولی سرعت گرفتن ازش داستان جداست؛ این تست نشون می‌ده چند ترفند ساده چطور سرعتو تا ۴ برابر بالا می‌بره.

۱۳ ساعت پیش۳ دقیقهmindstudio.ai

اگه مدل زبانی رو رو کارت گرافیک خودت اجرا می‌کنی و سرعتش پایینه، این سه تنظیم تو Llama.cpp می‌تونه سرعت تولید توکن رو به‌راحتی دو برابر کنه.

۱۴ ساعت پیش۴ دقیقهmindstudio.ai

خیلی از اپلیکیشن‌های هوش مصنوعی هر درخواستی رو، حتی یه کار ساده، به گرون‌ترین مدل می‌فرستن. این مقاله می‌گه با یه سیستم مسیریابی ساده چطور می‌شه هزینه رو تا ده برابر پایین آورد.

۱۸ ساعت پیش۳ دقیقهblog.bytebytego.com

یه تحلیل تازه میگه از وقتی تعویض مدل‌های هوش مصنوعی راحت شده، شرکت‌های ابزارساز قفل کسب‌وکارها رو برده‌ن روی harness یعنی لایهٔ ابزار و حافظهٔ عامل، نه خود مدل.

۱۹ ساعت پیش۳ دقیقهkai-waehner.de

توی اسلک یه باگ باعث شد عکس‌های آپلودشده قبل از ۱۱ سپتامبر بی‌کیفیت و غیرقابل دانلود بشن؛ تیم فنی بعد از چندبار حدس اشتباه، ریشه مشکل رو پیدا کرد.

نویسنده می‌گه با سریع‌تر شدن مدل‌های هوش مصنوعی، دیگه سرعت خود مدل مهم نیست؛ سرعت ابزارها و تست‌ها می‌شه گلوگاه اصلی کار با ایجنت‌ها.

۲۰ ساعت پیش۲ دقیقهseangoedecke.com

Nex-AGI برای هر سه سایز Nex-N2.5 یه راهنمای هاست کردن با Docker و SGLang داده؛ از دو کارت H100 تا یه کلاستر دو نودی با ۱۶ کارت H200.

۱ روز پیش۳ دقیقهmindstudio.ai

NeoHorse-1-4B یه مدل ۴ میلیاردی از TokenRhythm هست که از لاگ تصمیم‌های یه سیستم روتینگ واقعی یاد گرفته، نه دیتاست ثابت، و رو یه GPU معمولی هم با vLLM بالا میاد.

۲ روز پیش۳ دقیقهmindstudio.ai

مدل متن‌باز ۳۳ میلیارد پارامتری Agnes AI با پنجره متنی ۲۶۲ هزار توکنی، رو یه GPU دیتاسنتری تنها اجرا می‌شه؛ به لطف معماری ترکیبیش نیازی به چند کارت گرافیک نیست.

۲ روز پیش۳ دقیقهmindstudio.ai

دیپ‌سیک با یه ترفند فشرده‌سازی حافظه، اجرای محلی یه مدل ۵۵۲ میلیارد پارامتری رو ممکن کرده و تو چندتا محک هم جلوتر از رقباش زده.

۲ روز پیش۳ دقیقهmindstudio.ai

اپیفای یه اکتور به اسم Web Fetch منتشر کرده که هر صفحه وب رو با یه فراخوانی API به مارک‌داون تمیز تبدیل می‌کنه و از پس کپچا و بلاک ربات هم برمیاد.

۲ روز پیش۲ دقیقهapify.com

یه مهندس نرم‌افزار قدم‌به‌قدم نشون میده چطور یه صف کار ساده روی PostgreSQL می‌تونه جلوی ریس کاندیشن، کرش ورکر و طوفان ریترای رو بگیره.

مایکروسافت یه بک‌اند کامپایلر جدید ساخته که راست رو مستقیم به MSVC، کامپایلر بومی ویندوز، وصل می‌کنه و کدنویسی ترکیبی راست و C++‎ رو راحت‌تر می‌کنه.

یه router به اسم Neki که PlanetScale ساخته، هر کوئری Postgres رو از پروتکل و پارس تا پلن‌ریزی و اجرا، بین چند شارد جوری مدیریت می‌کنه که انگار یه Postgres تنهاست.

یه فریم‌ورک متن‌باز به اسم Edge0 با ترفند خوندن اکسپرت‌ها از روی دیسک، اجازه می‌ده یه مدل ۳۵ میلیاردی روی مک با کمتر از ۳ گیگابایت رم اجرا بشه.

۲ روز پیش۳ دقیقهmindstudio.ai

تیم East River Source Control می‌گه Git برای دنیای امروز طراحی نشده و داره یه کنترل نسخه جدید می‌سازه که پروتکل Git رو حفظ می‌کنه ولی موتور ذخیره‌سازیش کاملاً فرق داره.

آمازون یه راه نشون داده که چند عامل هوش مصنوعی، هرکدوم روی یه سرویس متفاوت، از طریق یه سیستم فایل مشترک روی S3 با هم هماهنگ بشن، بدون هیچ کد یکپارچه‌سازی سفارشی.

۲ روز پیش۳ دقیقهaws.amazon.com

یه توسعه‌دهنده که چند ساله از Cloudflare استفاده می‌کنه می‌گه فقط وقتی سراغ یه محصول جدید می‌ره که یه مشکل واقعی داشته باشه، نه برعکس؛ اینجا می‌گه دقیقاً از کدوم‌ها و چرا.