تابستونی که هوش مصنوعی کتابخونههای معروف رو سریعتر کرد
هوش مصنوعی
نود جیاسخلاصهٔ کاملتر
Daniel Lemire چندتا کتابخونهٔ متنباز پراستفاده رو نگهداری میکنه: ada که تو Node.js آدرسهای URL رو parse میکنه، fast_float که عددها رو تو کتابخونهٔ استاندارد GCC و Chromium parse میکنه، simdjson و simdutf تو Node.js، و کتابخونههای Roaring bitmap که تو خیلی از موتورهای دیتابیس هستن. به گفتهٔ خودش اینها سالها بهینه شده بودن و سرعتشون ثابت مونده بود، چون هر بهبود جدید چند روز کار دقیق لازم داشت و کسی وقتش رو نداشت.
بعد تو سال ۲۰۲۶ ششتاشون خیلی سریعتر شدن، بیشترش تو چند هفتهٔ تابستون. Lemire برای اینکه حسش رو با عدد نشون بده، همهٔ commitهای هر کتابخونه رو از اول build کرده و روی یه سیستم Intel Xeon Gold 6548N بنچمارک گرفته و سرعت رو نسبت به آگوست ۲۰۲۴ مقایسه کرده. خودش میگه نمیدونه دقیقاً چقدر از هر بهبود کار AI بوده، چون از کسی نمیپرسه کدش رو چطوری نوشته. خودش با Claude (Opus 5)، Grok و DeepSeek V4 Pro کد میزنه.
چندتا از عددها:
- ada: از آگوست ۲۰۲۴ تا جولای ۲۰۲۶ با حدود ۵۵۰ commit سرعت روی ۱۰۰ هزار URL ثابت روی 0.54 GB/s مونده بود؛ بعد تو شش هفته رسید به 1.28 GB/s، یعنی ۲.۴ برابر و حدود ۱۵ میلیون URL در ثانیه روی یه هسته. بیشتر این کارو Yagiz Nizipli با Cursor انجام داده.
- fast_float: بعد از پونزده ماه ثابت موندن، روی فایل canada.txt ۴۳٪ و روی mesh.txt ۷۰٪ سریعتر شد.
- simdutf: اعتبارسنجی ASCII از 83 به 160 GB/s و UTF-16 از 62 به 102 GB/s رسید.
تو simdjson که تازه از static reflection در C++26 پشتیبانی میکنه (یعنی struct خودت رو بدون کد اضافه مستقیم به JSON تبدیل میکنی و برعکس)، سرعت serialization روی twitter.json ۱.۶ برابر و روی citm_catalog.json ۲.۱ برابر شده. تعداد دستورالعمل پردازنده برای هر بایت هم تقریباً به همون نسبت از ۶.۱ به ۳.۱ کم شده. این کار بیشتر دست Francisco Geiman Thiesen از Microsoft بوده که با Claude کار میکنه.
تو CRoaring (نسخهٔ C) تست عضویت ۲.۴ برابر و شمارش bitmapهای ۶۴ بیتی ۴.۹ برابر سریعتر شده. نسخهٔ Go یعنی roaring هم مثلاً تو FastOr ۳.۱ برابر بهتر شده و یکی از مشارکتکنندههاش خودش یه AI به اسم perfloop هست که Lemire مشاورشه.
نکتهٔ جالب از نظر Lemire اینه که هیچکدوم از این تکنیکها جدید نیستن. جوابش به سؤال «چرا یهو؟» سادهست: امتحان کردن ایدههای تازه ارزون شده. نویسنده معتقده آدمها وقتی خطرهای AI تو نرمافزار رو میبینن، مزیتهاش رو نادیده میگیرن؛ ماشین آدم میکشه ولی آمبولانس هم جون نجات میده. اینجا مزیت کاملاً ملموسه: میلیونها نفر از این کتابخونهها استفاده میکنن و این تابستون همهشون سریعتر شدن.
نکات کلیدی:
- شش کتابخونهٔ ada، fast_float، simdjson، simdutf، roaring و CRoaring تو ۲۰۲۶ خیلی سریعتر شدن
- ada تو شش هفته از 0.54 به 1.28 GB/s رسید (۲.۴ برابر)
- اعتبارسنجی ASCII در simdutf از 83 به 160 GB/s رسید
- serialization در simdjson روی citm_catalog.json ۲.۱ برابر سریعتر شد
- تکنیکها قدیمیان؛ به گفتهٔ Lemire فرقش اینه که با AI امتحان ایدهها ارزون شده
