‏سرعت مدل‌های هوش مصنوعی داره از DevEx جلو می‌زنه

به گفته‌ی نویسنده، تجربه‌ی توسعه (DevEx) امروز با ثانیه سنجیده می‌شه: اگه تست‌هات یه ثانیه طول بکشه خوبه، اگه سی ثانیه بکشه بده، ولی سریع‌تر از یه ثانیه دیگه فرقی نداره، چون بیشتر وقت صرف فکر کردن یا منتظر موندن برای جواب ایجنت هوش مصنوعیه. برای همین، بهینه‌سازی چیزهایی مثل زمان ری‌لود سرور توسعه الان عملاً بی‌فایده‌ست.

نویسنده می‌گه این وضعیت داره عوض می‌شه، چون مدل‌های کوچیک دارن سریع‌تر می‌شن و مدل‌های باهوش هم دارن کوچیک‌تر می‌شن. برای مثال مدل GPT-6-Astra حدود ۶۰ توکن در ثانیه تولید می‌کنه، ولی مدلی به اسم Jimmy که روی تراشه‌ی مخصوص شرکت Taalas اجرا می‌شه، حدود ۱۷ هزار توکن در ثانیه می‌ده؛ یعنی جواب همون لحظه‌ای که دکمه‌ی ارسال رو می‌زنی حاضره. این مدل هنوز برای کار ایجنتی به‌اندازه‌ی کافی خوب نیست، ولی نشون می‌ده آینده چه شکلیه.

نکته‌ی مهمی که نویسنده اضافه می‌کنه اینه که وقتی تولید توکن دیگه گلوگاه نباشه، سرعت خود ابزارها می‌شه چیزی که فرق بین جواب آنی و چند دقیقه صبر کردن رو می‌سازه؛ مثلاً اینکه ایجنت بتونه یه فایل رو تو ۱۰۰ میلی‌ثانیه بخونه یا ۱۰ میلی‌ثانیه، یا تست‌ها تو نیم ثانیه اجرا بشن یا دو ثانیه. به همین خاطر، اون فکر می‌کنه فشار زیادی میاد که کدنویسی ایجنتی تو زبان‌هایی با کامپایلر و تست سریع مثل Go انجام بشه.

نویسنده یادآوری می‌کنه که تیم‌های مخصوص DevEx تو دهه‌ی ۲۰۱۰ رایج بودن ولی بیشتر شرکت‌ها حالا یا حذفشون کردن یا خیلی کوچیکشون کردن؛ با این حال پیش‌بینی می‌کنه این تیم‌ها تو اواخر دهه‌ی ۲۰۲۰ برمی‌گردن، این بار نه برای راحتی برنامه‌نویس انسانی بلکه برای سریع‌تر کردن تجربه‌ی کار ایجنت‌های هوش مصنوعی.

نکات کلیدی:

• مدل GPT-6-Astra حدود ۶۰ توکن در ثانیه تولید می‌کنه؛ مدل Jimmy روی تراشه‌ی Taalas حدود ۱۷ هزار توکن در ثانیه
• با سریع شدن مدل‌ها، سرعت ابزارهایی مثل تست و فایل‌سیستم می‌شه گلوگاه اصلی، نه خود مدل
• نویسنده پیش‌بینی می‌کنه زبان‌هایی با کامپایل و تست سریع مثل Go تو کدنویسی ایجنتی محبوب‌تر بشن
• تیم‌های DevEx که تو دهه‌ی ۲۰۱۰ محبوب بودن، به گفته‌ی نویسنده ممکنه برای بهینه‌سازی سرعت ایجنت‌ها برگردن