‏تربیت یک مدل بازمتن کوچک برای کار علمی

تو این گزارش مشترک لوکا، آرسی و AWS اومده که هدف پروژه این بوده مدل بازمتن Trinity Mini از حالت طبقه‌بندی ساده‌ی متن در بیاد و بتونه یه سؤال علمی رو با ابزار بررسی کنه، روی شواهد ناقص استدلال کنه و کاری تحویل بده که یه پژوهشگر دیگه بتونه چکش کنه. به گفته‌ی نویسنده‌ها فقط پرامپت‌نویسی این رفتار رو تو یه اجرای چندمرحله‌ای قابل‌اتکا نمی‌کنه؛ مدل وقتی شواهد ضعیفه هم جواب خوش‌ظاهر می‌ده و یه سنتز صیقلی درباره‌ی پروتئین اشتباه بی‌سروصدا وارد مرحله‌ی بعدی کار می‌شه.

برای همین دو محیط یادگیری تقویتی ساختن. محیط Drug Tool مدل رو یاد می‌ده دنبال شواهد بگرده: یه سؤال زیست‌پزشکی، یه کاتالوگ ابزار و هفت ابزار بازیابی روی PubMed، GEO، KEGG، UniProt و STRING. پاداشش هم‌زمان انتخاب و پارامتردهی درست ابزار، حقایق مستند، کامل شدن کار و ایجاز رو می‌سنجه. محیط BioReason هم مدل رو یاد می‌ده نتیجه بگیره: از شواهد پروتئینی، شناسه‌های Gene Ontology رو استنتاج کنه و دقیقاً یک شیء JSON معتبر برگردونه.

مدل پایه یه ترکیب‌متخصص ۲۶ میلیارد پارامتریه که برای هر توکن فقط ۳ میلیارد پارامترش فعال می‌شه. آموزش با GRPO و آداپتورهای LoRA روی prime-rl انجام شده و هر ۲۰ گام، ارزیابی روی ۲۰۰ نمونه‌ی کنارگذاشته‌ی Drug Tool و ۵۱۲ نمونه‌ی BioReason تکرار شده. دیتاست‌ها هم منتشر شدن: ۸۰۰ پرامپت آموزشی و ۲۰۰ پرامپت کنارگذاشته تو ۱۷ دسته‌ی کاری با مجموع ۵۰۴۹ فراخوانی ابزار، و ۸۶۳۰ رکورد برای BioReason.

قبل از پس‌آموزش یه پاس بهینه‌سازی پرامپت با GEPA اجرا شده که اعتبارسنجی مدل پایه رو حدود ۸۴ درصد تو BioReason و ۷.۷ درصد تو Drug Tool بالا برد؛ نویسنده‌ها تأکید دارن این عدد جدا از نتیجه‌ی نهاییه. بعدش ۲۱ اجرا با قاعده‌ی «هر اجرا یک فرضیه» جلو رفت و اجرای ۱۲۰ ترفیع گرفت، چون هم نمره‌ی داده‌ی کنارگذاشته، هم بازبینی ردّ ابزارها و خروجی verifier، و هم رفتارش داخل یه اپلیکیشن علمی واقعی قبول شد.

نکات کلیدی:

• Trinity Mini با ۲۶ میلیارد پارامتر و ۳ میلیارد پارامتر فعال، پایه‌ی کار بوده
• نمره‌ی Drug Tool از ۷۰.۸ به ۸۱.۲ درصد رسید و BioReason به ۰.۸۶۳
• دو محیط RL: یکی برای جست‌وجوی شواهد، یکی برای استنتاج Gene Ontology با خروجی JSON
• ۲۱ اجرای کنترل‌شده با قاعده‌ی یک فرضیه در هر اجرا و ثبت کامل تصمیم‌ها
• مدل کوچیک به‌علاوه‌ی LoRA یعنی اجرا داخل مرز ابری خود سازمان