چرا LLMها بعد از Navier-Stokes هم جای کارمندها رو نمیگیرن
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
نویسندهٔ این یادداشت میگه حتی بعد از نمایشهای پرسروصدایی مثل Navier-Stokes، RCEهای FreeBSD و ماجرای Hugging Face، هنوز به LLMها بدبینه. به گفتهٔ اون، آزمایشگاههای frontier (یعنی شرکتهایی که پیشرفتهترین مدلها رو میسازن) با این روایت قیمتگذاری شدن که بهزودی جای بیشتر کارمندهای دانشی رو میگیرن. ولی مدلهای فعلی حتی برای سادهترین کارها نظارت و guardrail زیادی لازم دارن و شرکتها هنوز مهندسهایی رو استخدام میکنن که تو benchmarkها خیلی از همین مدلها ضعیفترن.
نویسنده معتقده مدلها فقط روی کارهای خیلی نزدیک به آموزششون خوب تعمیم میدن و با یه تغییر کوچیک یا شکست میخورن یا سراغ reward hacking میرن، یعنی به جای حل واقعی مسئله فقط معیار موفقیت رو راضی میکنن. به گفتهٔ اون، تنها راهحل specification دقیق (تعریف رسمی و بیابهام از اینکه خروجی درست چیه) توسط متخصصهای هر حوزهست. ولی وقت این متخصصها گرونه و آدمهایی که هم تو حوزه متخصصن هم تو نوشتن spec، خیلی کم پیدا میشن.
هزینهٔ spec نوشتن حتی میتونه از خود ساختن کار بیشتر بشه. نویسنده مثال سختافزار رو میاره: تو یه پروژهٔ CPU معمولاً حدود سه برابر مهندس طراحی، مهندس specification و validation کار میکنه و نسبت ۵ به ۱ هم دیده شده. تازه spec معمولاً یه بار نوشته نمیشه، چون حین ساخت چیزهای تازهای کشف میشه و spec هم باید همراهش عوض بشه.
به گفتهٔ نویسنده، Navier-Stokes و مسئلههای ریاضی محض بهترین حالت ممکن برای agentها هستن. خود صورت قضیه یه spec دقیقه که دههها بررسی شده و ترجمهش به Lean (یه theorem prover که درستی اثبات رو ماشینی چک میکنه) سادهست. با این حال باگهای soundness تو kernel خود Lean قبلاً اجازه دادن اثباتهای غلط LLMها قبول بشن. بیشتر کارهای دانشی اصلاً چنین شرایطی ندارن.
جایگزین spec، بازبینی انسانیه، ولی نویسنده میگه این روش با حجم خروجی مدلها جور درنمیاد و حتی متخصصها هم فریب میخورن؛ مثل backdoor ماجرای xz یا commitهای UMN که وارد Linux شدن. نتیجهای که میگیره اینه که LLMها تو بیشتر حوزهها مثل یه کارآموز خیلی تیز میمونن: سریع و مفید، ولی نمیشه کل کار رو دستشون سپرد. دلیلش هم محدودیت ساختاری معماری فعلیه، نه کندی پذیرش تکنولوژی.
به نظر نویسنده فقط سه دسته شرکت میتونن AI کاملاً خودکار رو بپذیرن: اونایی که شکست براشون ارزونه، اونایی که چند کار محدود با guardrail روشن دارن، و حوزههایی مثل طراحی چیپ و کشف دارو که هزینهٔ validation رو از قبل میپردازن. اون میگه بیشترشون با مدلهای باز ارزون مثل DeepSeek V4.1 Flash بهتر جواب میگیرن، چون این نوع جستوجو بیشتر به تعداد agentهای موازی بستگی داره تا قدرت استدلال. پیشبینیش اینه که ضربه فقط به آزمایشگاههای frontier محدود نمیمونه.
نکات کلیدی:
- مدلها با تغییرهای کوچیک تو یه نوع کار آشنا، شکست میخورن یا reward hacking میکنن
- تو پروژههای CPU حدود ۳ مهندس spec و validation برای هر مهندس طراحی هست و نسبت ۵ به ۱ هم دیده شده
- Lean هم باگ soundness تو kernel داشته که اثباتهای غلط LLMها رو قبول کرده
- سه دستهٔ مناسب AI خودکار: شکست ارزون، کارهای محدود با guardrail، و حوزههایی مثل طراحی چیپ و کشف دارو
- مدلهای کوچیک باز تونستن CVEهای Mythos رو بازتولید کنن، که به نظر نویسنده یعنی تعداد agentهای موازی از قدرت استدلال مهمتره
