جمینای ۳.۸ فلش تو تستهای واقعی چطور بود؟
هوش مصنوعی
گوگلخلاصهٔ کاملتر
نویسنده بهجای اکتفا به نمودارهای خود گوگل، جمینای ۳.۸ فلش رو روی چهار تسک واقعی امتحان کرده: دیباگ یه اپلیکیشن زندهٔ چندسرویسی، یه تست بینایی روی عکس صفحهٔ گوشی، تولید متن تو حدود ۸۰ زبان، و یه مسئلهٔ فیزیک نسبیتی. دلیلشم اینه که بنچمارکهای منتشرشده میتونن باریک یا دستکاریشده باشن، ولی تسک باز نشون میده مدل واقعا استدلال میکنه یا فقط الگو تطبیق میده.
تست اصلی یه ابزار ساختگی اعزام اورژانس بود روی استک Postgres و FastAPI و Nginx و Redis با Docker Compose. یه باگ عمدی تو منطق مرتبسازی گذاشته بودن که سیلِ ۳۰ نفره پایینتر از یه حادثهٔ سهنفره بشینه؛ از اون باگهایی که هیچی کرش نمیکنه و فقط ترتیب غلطه. مدل فایلها رو خوند، کانتینرها رو چک کرد، خود API رو صدا زد و رد باگ رو تا یه کلید مرتبسازی منفیشده گرفت.
چیزی که به گفتهٔ نویسنده بیشتر ارزش داشت، مرحلهٔ بعدش بود: مدل با یه خط اصلاح کار رو تموم کرد، هیچ تغییر بیربطی نداد، و کل ماجرا کمی بیشتر از دو دقیقه طول کشید. بعدش هم بهجای اینکه فقط ببینه endpoint کد ۲۰۰ برمیگردونه، یه assert پایتونی نوشت که ترتیب کامل همهٔ حادثهها رو بررسی کنه. مدلهای ارزون معمولا همونجای «ارور نداد» وامیستن.
تو تست بینایی، عکس یه صفحهٔ واتساپ با پیامهای تکهتکه بهش داده شد. مدل هم OCR رو درست درآورد، هم دنبال کرد کی چی گفته، و شوخیای که سر یه سوءتفاهم شکل گرفته بود رو فهمید و به لحن خشک یه گزارش HR بازنویسی کرد. تو تست چندزبانه هم برای حدود ۸۰ زبان یه شهر مرتبط و یه جملهٔ ستایش به خط بومی نوشت و باسک رو با بیلبائو، قزاقی رو با آلماتی و بلوچی رو با کویته جور کرد.
سختترین تست یه مسئلهٔ واپاشی میوئون نسبیتی بود که اتساع زمان رو با واپاشی نمایی قاطی میکنه و یه تبدیل واحد اشتباه کل زنجیره رو خراب میکنه. مدل جواب درست، یعنی حدود ۵۲.۶٪ احتمال بقا، رو با یه استدلال گامبهگام و بدون توکن اضافه داد. جمعبندی نویسنده اینه که برای کدنویسی و دیباگ ایجنتی گزینهٔ پیشفرض خوبیه، ولی هنوز جای تست روی داده و ورکلود خودت رو نمیگیره.
نکات کلیدی:
- باگ مرتبسازی تو یه استک زندهٔ Postgres و FastAPI و Nginx و Redis رو با یه خط اصلاح و در کمی بیش از دو دقیقه رفع کرد
- درستی اصلاح رو با یه assert پایتونی روی ترتیب کامل حادثهها بررسی کرد، نه فقط با کد وضعیت ۲۰۰
- روی حدود ۸۰ زبان شهر درست و متن خط بومی تولید کرد، از باسک و قزاقی تا سرائیکی و بلوچی
- مسئلهٔ واپاشی میوئون نسبیتی رو با جواب درست حدود ۵۲.۶٪ حل کرد
- قیمت ورودیش حدود ۷۵ سنته، یعنی کسری از هزینهٔ Claude Opus 5
