Jev و بازگشت کلسیفایرها
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
نویسنده می‌گه فیدش تو دو روز پر شد از پست‌هایی که Jev رو با سه صفت معرفی می‌کردن: سریع، ارزون، بدون توهم. ولی چیزی که خودش رو کشید RLCD بود، یه روش آموزش جدید که TypeSafe ساخته تا مدل تو تصمیم‌گیری قابل‌اعتمادتر باشه. Jev چیزیه که TypeSafe اسمش رو مدل «System One» گذاشته: جای اینکه مثل یه LLM برات متن بنویسه، یه تصمیم ساختارمند با یه احتمال چسبیده به اون برمی‌گردونه.
سه نوع سوال می‌تونی بدی: Choice که یکی از گزینه‌های خودت رو انتخاب می‌کنه، Score که روی یه بازه امتیاز می‌ده، و Noul که به سوال بله/خیر با احتمال جواب می‌ده. زمان پاسخ سرتاسری بین ۷۰ تا ۵۰۰ میلی‌ثانیه‌ست، ورودی ۰.۰۴۲ دلار برای هر میلیون توکن و خروجی کامل مجانیه، که وقتی خروجی فقط یه لیبل و یه عدده منطقیه. بنچمارک‌های خود شرکت از ۱۹۳ برابر سریع‌تر و ۴۴۴ برابر ارزون‌تر حرف می‌زنن، که خودشون هم تاکید کردن این اعداد سر بالای بازه‌ن و دست خود وندور اندازه‌گیری شدن.
نویسنده می‌گه «صفر توهم» اون چیزی نیست که به گوش میاد. فقط یعنی مدل نمی‌تونه مقداری بیرون از اسکیمایی که دادی برگردونه: اگه سه لیبل Important و Spam و Promotional دادی، همیشه یکی از همین سه تا میاد، نه لیبل چهارم، نه ارور تایپ. ولی این با درست بودن یکی نیست؛ روی بنچمارک خود شرکت دقت حدود ۶۸ درصده، یعنی تو یک‌سوم موارد با اطمینان یه گزینهٔ معتبر ولی غلط رو انتخاب می‌کنه.
به نظر نویسنده این یه برگشت پاندوله نه یه جهش: قبل از LLMها دسته‌بندی یه مسئلهٔ حل‌شده بود با لاجستیک رگرشن یا درخت گرادیان‌بوست. بعد همه رفتن سراغ مدل مولد، حتی برای سوال‌هایی که کل فضای جوابشون بله یا خیر بود. ولی نویسنده می‌گه خودِ برگشتن به کلسیفایر کافی نیست؛ چیزی که Jev اضافه کرده کالیبراسیونه. مدل کالیبره یعنی وقتی می‌گه ۹۰ درصد مطمئنم، از هر صد تصمیمش حدود نود تاش درست درمیاد.
همین باعث میشه بتونی یه پایپ‌لاین قابل‌اعتماد بسازی: مثلا تو تریاژ تیکت پشتیبانی، بالای ۹۵ درصد رو فوری بذار، زیر ۱۰ درصد رو غیرفوری، و وسط مشکوک رو بفرست دست آدم یا یه مدل کندتر و گرون‌تر. گیرش اینجاست که کالیبراسیون رو از بیرون نمی‌تونی چک کنی، چون ادعایی دربارهٔ رابطهٔ اعتماد و درستی تو هزاران تصمیم واقعیه و وزن‌ها هم عمومی نیستن. خود شرکت هم گفته Jev تو کارهای System 2 مثل استدلال ریاضی ضعیفه.
نکات کلیدی:
- سه نوع خروجی: Choice، Score و Noul (بله/خیر با احتمال)
- زمان پاسخ ۷۰ تا ۵۰۰ میلی‌ثانیه، ورودی ۰.۰۴۲ دلار بر میلیون توکن، خروجی مجانی
- «صفر توهم» یعنی پایبندی به اسکیما، نه درستی؛ دقت روی بنچمارک وندور حدود ۶۸ درصد
- RLCD روش آموزشی TypeSafe برای «احتمال‌های صادقانه»، یعنی همون کالیبراسیون
- محدودیت‌ها: ضعف در تسک‌های System 2، دانش کم تو دامنه‌های خاص، کانتکست حدود ۳۲ هزار توکن
