‏time horizon تحقیقات داخلی OpenAI هر دو ماه دو برابر می‌شه

Basil Halperin تو یه رشتهٔ ۲۲ توییتی داده‌هایی رو بررسی کرده که OpenAI دربارهٔ time horizon تحقیقات داخلی AI منتشر کرده. time horizon یعنی طول کاری (بر حسب زمانی که یه انسان لازم داره) که AI می‌تونه با یه درصد موفقیت مشخص، مثلاً ۵۰٪ یا ۸۰٪، انجامش بده. این معیار رو اول METR معرفی کرد.

به گفتهٔ نویسنده، برای بیرون کشیدن این عدد از داده‌ها چند راه هست و جواب‌ها فرق می‌کنه. اگه مستقیم از روی منحنی‌های خطی OpenAI بخونی، time horizon ۵۰٪ حدود ۱۰ ساعته با دو برابر شدن هر ۶۸ روز، و ۸۰٪ حدود ۱۵ دقیقه‌ست با دو برابر شدن هر ۵۸۵ روز، یعنی خیلی کند. ولی اگه مثل METR یه توزیع logistic فیت کنی، ۵۰٪ حدود ۶ ساعت با ۶۳ روز و ۸۰٪ حدود ۱۵ دقیقه با ۸۶ روز می‌شه. فیت کردن توزیع Weibull داده‌ها رو بهتر توضیح می‌ده و اونم رشد خیلی سریع نشون می‌ده.

سؤال اصلی نویسنده اینه که چرا این‌قدر سریع؟ time horizon اندازه‌گیری‌شدهٔ METR هر ۴ تا ۷ ماه دو برابر می‌شد و تحلیل Thomas Kwa نشون داده بود تو حوزه‌های مختلف، سطح فرق داره ولی سرعت رشد مشابهه. سه توضیح مطرح می‌کنه: یا ظرفیت استفاده‌نشدهٔ زیادی تو OpenAI بوده، یا سرعت پیشرفت تو حوزه‌های مختلف یکسان نیست، یا پیشرفت کلاً شتاب گرفته که با گزارش اخیر METR دربارهٔ Anthropic جور درمیاد.

سؤال بعدی اینه که چرا سطحش این‌قدر پایینه: ۱۵ تا ۲۰ دقیقه برای دقت ۸۰٪ تا جولای. GDM هم عدد مشابهی (حدود ۱۵ دقیقه) گزارش کرده. شاید این حوزه ذاتاً سخت‌تره، یا شاید چون METR با آدم‌های «کم‌کانتکست» (کسایی که با پروژه آشنا نیستن) اندازه می‌گرفت و با آدم‌های آشنا عددها حدود ۱۰ برابر پایین‌تر می‌شه. نسبت time horizon ۵۰٪ به ۸۰٪ هم تو OpenAI حدود ۱۵ برابره، در حالی که تو METR حدود ۴ برابر بود.

نکات کلیدی:

• time horizon با دقت ۸۰٪ تو تحقیقات داخلی OpenAI تا جولای حدود ۱۵ دقیقه بوده.
• با روش فیت logistic مثل METR، این عدد تقریباً هر ۸۶ روز دو برابر می‌شه؛ با خوندن مستقیم، هر ۵۸۵ روز.
• معیار اصلی METR هر ۴ تا ۷ ماه دو برابر می‌شد.
• نسبت p50 به p80 تو OpenAI حدود ۱۵ برابره، در برابر حدود ۴ برابر تو METR.
• time horizon داخلی GDM با دقت ۸۰٪ هم حدود ۱۵ دقیقه گزارش شده.