‏TimesFM 3؛ پیش‌بینی سری زمانی بدون آموزش

گوگل ریسرچ نسخهٔ سوم TimesFM رو بیرون داده، یه foundation model برای سری زمانی (یعنی مدلی که از قبل روی کلی داده‌ی زمانی آموزش دیده و بعد روی داده‌ی تازه هم جواب می‌ده). تو این مقاله اومده که ساختارش یه ترنسفورمر decoder-only با ۳۳۰ میلیون پارامتره و روی بیشتر از هزار میلیارد نقطهٔ زمانی واقعی و مصنوعی pre-train شده. شما تاریخچهٔ عددی رو می‌دی و مدل ادامه‌ش رو می‌سازه، دقیقاً مثل کاری که یه مدل زبانی با متن می‌کنه.

حرف تازهٔ این نسخه پشتیبانی از covariate هست (یعنی یه سیگنال اضافه که جوابش رو از قبل می‌دونی، مثل تاریخ تعطیلات یا روز شروع یه کمپین). پیش‌بینی معمولی که بهش univariate می‌گن فقط الگوی گذشتهٔ اعداد رو نگاه می‌کنه، برای همین اصلاً خبر نداره هفتهٔ بعد یه جشنوارهٔ فروش هست. اینجا اون پرچمِ آینده به‌عنوان یه کانال ورودی کنار تاریخچه می‌ره تو مدل و پیش‌بینی همون روزها بالا و پایین می‌شه.

دمویی که نویسنده تعریف می‌کنه روی یه دیتاست مصنوعی از کاربران روزانهٔ یه اپ دوست‌یابی تو فصل Pride سیدنی بوده. اجرای اول کور بود و فقط شمارش کاربرهای گذشته رو داشت: مدل ریتم هفتگی رو درست گرفت ولی خط پیش‌بینیش تو کل بازهٔ ایونت صاف موند و اون جهش رو کامل از دست داد. اجرای دوم همون تاریخچه بود به‌علاوهٔ یه ستون باینری که روزهای ایونت رو علامت می‌زد، و این بار پیش‌بینی تقریباً چسبید به مقدار واقعی.

اختلاف رو با MAE (میانگین قدرمطلق خطا) اندازه گرفتن: حالت کور حدود ۳۰۰۰ کاربر در روز پرت بود و حالت با covariate حدود ۱۰۰۰ کاربر، یعنی تقریباً سه برابر دقیق‌تر فقط با یه ستون اضافه. سخت‌افزارش هم سنگین نیست، تو همون دمو زیر ۲ گیگابایت VRAM مصرف کرد و روی CPU هم بالا می‌آد. وزن‌ها روی Hugging Face هست و نصبش از روی سورس انجام می‌شه.

به گفتهٔ نویسنده، جای واقعی استفاده‌ش هرجاییه که هم داده‌ی عددی گذشته داری هم یه چیزی از آینده رو از قبل می‌دونی: تقاضای خرده‌فروشی دور و بر تخفیف‌ها، بار مصرف انرژی، برنامه‌ریزی شیفت نیرو برای روزهای شلوغ، و ترافیک سایت موقع کمپین. یعنی دیگه لازم نیست برای هر سری زمانی یه مدل جدا train کنی.

نکات کلیدی:

• TimesFM 3 یه ترنسفورمر decoder-only با ۳۳۰ میلیون پارامتره که روی بیش از هزار میلیارد نقطهٔ زمانی pre-train شده.

• پیش‌بینی zero-shot می‌ده؛ هیچ fine-tune ای روی دیتاست خودت لازم نیست.

• با اضافه‌کردن یه ستون covariate، خطای MAE از حدود ۳۰۰۰ کاربر در روز به حدود ۱۰۰۰ رسید.

• تو دمو زیر ۲ گیگابایت VRAM مصرف کرد و روی CPU هم قابل اجراست.

• وزن‌ها از Hugging Face می‌آد و نصب از روی سورس انجام می‌شه.