‏ریشه‌یابی قطعی ۷ ساعته‌ی گیت‌هاب

گیت‌هاب گزارش پست‌مورتم قطعی ۱۷ اوت ۲۰۲۶ رو منتشر کرده؛ از ساعت ۱۳:۲۸ تا ۲۱:۱۵ UTC (حدود ۷ ساعت و ۴۷ دقیقه)، سرویس‌های Issues، Pull Requests، API، Actions و Copilot با خطا و تأخیر بالا مواجه شدن. تو اوج مشکل، نرخ خطای وب و API حدود ۲۰ درصد و دانلود آرشیو و فایل‌های خام تا ۵۰ درصد خطا داشتن. احراز هویت SAML/OIDC و SCIM هم تحت تأثیر بودن.

به گفته‌ی گیت‌هاب، علت اصلی، اشباع شبکه‌ی لودبالانسرها تو دیتاسنتر Central US بوده؛ یه پاد Istio sidecar به سقف concurrency خودش رسیده و به خاطر یه سیاست auto-scale اشتباه (که فقط limit سرویس هاست رو می‌دیده، نه sidecar رو) نتونسته درست مقیاس بگیره. این مشکل زنجیره‌ای شده تا چهار نود HAProxy هم flow limit خودشون رو رد کردن و مسیر احراز هویت gateway رو دچار تأخیر و خطای گسترده کردن.

یه باگ نهفته تو منطق retry ویرایشگر VS Code، ترافیک Copilot Token Service رو حدود ۱۰ برابر (از ۷ تا ۹ هزار درخواست در ثانیه به ۷۰ تا ۱۰۰ هزار) بالا برده و بازیابی رو کندتر کرده. تیم گیت‌هاب بخشی از ترافیک رو به Northern Virginia منتقل کرد، retry گیت‌وی رو موقتاً کم کرد و درخواست‌های توکن Copilot رو با کد ۴۰۳ محدود کرد تا ترافیک به‌تدریج برگرده.

به گفته‌ی گیت‌هاب، اقدامات بعدی شامل اصلاح سیاست‌های auto-scale برای در نظر گرفتن sidecarها، بازبینی محدودیت‌های retry و backoff تو gateway و کلاینت‌ها، رفع رفتار retry اشتباه تو VS Code، و بهبود مانیتورینگ ظرفیت لودبالانسرهاست.

نکات کلیدی:

• قطعی از ۱۳:۲۸ تا ۲۱:۱۵ UTC در ۱۷ اوت ۲۰۲۶ طول کشید (حدود ۷ ساعت و ۴۷ دقیقه).
• علت اصلی، سیاست auto-scale اشتباه Istio sidecar بود که به اشباع HAProxy و اختلال احراز هویت منجر شد.
• یه باگ retry تو VS Code، ترافیک Copilot Token Service رو تا ۱۰ برابر (به ۷۰-۱۰۰ هزار RPS) بالا برد.
• گیت‌هاب قول اصلاح سیاست‌های auto-scale و منطق retry رو برای جلوگیری از تکرار داده.