‏چرا مدل‌های متن‌بازِ قدرتمند دردسر امنیتیِ اصلی‌ان

نویسنده‌ی این یادداشت (یه پژوهشگر امنیت) استدلال می‌کنه که تا همین اواخر، مهاجم‌ها موقع استفاده از مدل‌های قویِ فرانتیر یه دوراهیِ پرهزینه داشتن: حتی اگه می‌تونستن با حساب‌های جعلی دسترسیِ API رو نگه دارن و مدل رو به کمکِ هک وادار کنن، استفاده‌شون لاگ می‌شد و اگه بعداً لو می‌رفت، تاکتیک‌ها و اهداف‌شون جلوی چشم مدافع‌ها قرار می‌گرفت. به گفته‌ی او همین ریسک، جلوی استفاده‌ی جدیِ مهاجم‌ها از موجِ هوش مصنوعیِ عامل‌محورِ ماه‌های اخیر رو تا حد زیادی گرفته بود.

نویسنده معتقده رسیدنِ نسل جدیدِ مدل‌های متن‌بازِ نزدیک به مرزِ فناوری این دوراهی رو از بین برده. به گفته‌ی او این‌جور مدل‌ها حالا در سطحِ عامل‌محوریِ بلندمدت کار می‌کنن، خیلی‌ها کیفیت‌شونو نزدیک به بهترین مدل‌های بسته می‌دونن، و چون می‌شه اون‌ها رو خصوصی و بدون گاردریل رو سخت‌افزار خودی اجرا کرد، دیگه اثری از اون «لاگ‌شدن» و ریسکِ افشا نمی‌مونه.

نویسنده پیش‌بینی می‌کنه که مثل بازارهای سیاهِ بدافزار و اکسپلویت، یه اقتصادِ زیرزمینی هم دورِ سرو کردنِ این مدل‌های متن‌باز از راه API شکل می‌گیره. به گفته‌ی او این باعث می‌شه اصطکاکِ فنیِ استفاده از هوش مصنوعیِ عامل‌محور برای طیف وسیعی از مهاجم‌ها برداشته بشه؛ از عملیات‌های نیمه‌خودکارِ نفوذ گرفته تا کلاه‌برداری‌های بلندمدت.

نکته‌ی اصلیِ انتقادِ نویسنده اینه که در همین حال، دسترسیِ مدافع‌ها به قوی‌ترین مدل‌های فرانتیر (به گفته‌ی او مدلی مثل Mythosِ Anthropic) به بهانه‌ی اینکه ممکنه به نفع مهاجم‌ها باشه بسته شده؛ در حالی که اون مدل رو سرورهای خصوصی و زیر نظرِ تیم‌های نظارتیِ ۲۴ساعته اجرا می‌شده. او این تصمیمو غیرمنطقی می‌دونه، مخصوصاً وقتی جامعه‌ی مدافع تونسته باگ‌های کشف‌شده رو سریع‌تر از بهره‌برداریِ مهاجم‌ها وصله کنه.

نویسنده در جمع‌بندی می‌گه باید از بحثِ «محروم کردنِ مهاجم‌ها از فرانتیر» عبور کنیم و سراغ کمک به مدافع‌ها بریم تا سریع‌تر هوش مصنوعی رو به کار بگیرن؛ حتی اگه گاهی معنیش این باشه که مهاجم‌ها هم به مدل‌های بسته برسن. به گفته‌ی او راه‌حل، برگردوندنِ غولِ چراغ به شیشه نیست، بلکه فراگیر کردنش تو شبکه‌های مدافعه، قبل از اینکه دنیای حمله لحظه‌ی اتوماسیونِ خودشو تجربه کنه.

نکات کلیدی:

• به گفته‌ی نویسنده، لاگ‌شدنِ استفاده از مدل‌های فرانتیر تا حالا یه ترمز مهم برای مهاجم‌ها بوده.
• او معتقده مدل‌های متن‌بازِ نزدیک‌به‌مرز این ترمزو برداشتن چون خصوصی و بدون گاردریل اجرا می‌شن.
• نویسنده بستنِ دسترسیِ مدافع‌ها به فرانتیر رو یه خطای راهبردی می‌دونه.
• پیشنهادش «انتشار» سریعِ هوش مصنوعی بین مدافع‌هاست، نه صرفاً محدود کردنِ مهاجم‌ها.