‏چرا عامل‌های هوشمند به دادهٔ باز نیاز دارن

انویدیا تو این مطلب سراغِ یه سؤال می‌ره: چرا عامل‌های هوش مصنوعی به دادهٔ باز نیاز دارن و چرا دادهٔ مصنوعی راهِ مقیاس‌دادن بهش‌ه. به گفتهٔ نویسنده‌ها، ساختِ عاملِ واقعی سخته چون دنیای واقعی مثلِ بنچمارک رفتار نمی‌کنه؛ عاملی که نتونه از یه فراخوانیِ خرابِ API یا یه فرایندِ ندیده جونِ سالم به در ببره، در واقع یه «تکمیل‌کنندهٔ خودکار با ابزار»‌ه، نه یه عامل. اونا می‌گن فاصلهٔ بینِ این دوتا، یه مسئلهٔ داده‌ست.

به گفتهٔ انویدیا، محصولاتِ دادهٔ بازِ Nemotron دقیقاً همین‌جان. اونا اشاره می‌کنن که مدل‌های باز دارن تحقیقاتِ AI رو جلو می‌برن و نزدیکِ ۱۴۵ مقاله تو کنفرانسِ ICML به مدل‌ها و دیتاست‌های Nemotron ارجاع دادن. دادهٔ مصنوعی تو این اکوسیستم نقشِ پررنگی داره؛ مثلاً Nemotron-CC با دادهٔ مصنوعی دیتاستِ Common Crawl رو برای پیش‌آموزش تقویت کرده و Nemotron-CC-MATH با سؤال‌های ریاضیِ مصنوعی استدلال رو بهتر کرده.

یکی از نکته‌های اصلیِ مقاله اینه که وزنِ باز مهمه ولی برای عامل‌ها فقط بخشی از ماجراست. به گفتهٔ نویسنده‌ها، بازتولیدپذیری به دیتاست، انتخاب‌های پالایش، دستورهای آموزش و روش‌های ارزیابی هم بستگی داره، و رفتارِ یه عامل باید قابل‌بازرسی باشه؛ وقتی مدل ابزار صدا می‌زنه و بینِ سیستم‌ها کار می‌کنه، توسعه‌دهنده باید بفهمه چه داده‌ای اون رفتار رو شکل داده. دادهٔ باز همینو ممکن می‌کنه.

مقاله به نقل از Bryan Catanzaro، معاونِ تحقیقاتِ یادگیریِ عمیقِ کاربردیِ انویدیا، می‌گه «هر شرکت حولِ یه راز ساخته شده»؛ یه فرایند یا مجموعه‌داده یا الگوی مشتری که رقبا ندارن. مشکل اینه که مفیدترین داده‌ها معمولاً داخلِ سازمان‌هان و کسی نمی‌خواد اولین نفری باشه که چیزِ خاصشو لو می‌ده. نویسنده‌ها می‌گن دادهٔ مصنوعیِ منتشرشده به‌صورتِ باز یه راه برای عوض‌کردنِ این معادله‌ست؛ چون سیگنالِ مفید رو حفظ می‌کنه بدونِ اینکه منبعِ اصلی رو فاش کنه.

انویدیا می‌گه بیشتر از ۱۰ تریلیون توکنِ پیش‌آموزش و میلیون‌ها نمونهٔ پس‌آموزش منتشر کرده، و برای اینکه فهمِ این حجمِ داده راحت‌تر شه، ابزاری به اسمِ Nemotron Post-Training v3 Prompt Atlas ساخته: یه نقشهٔ تصویریِ تعاملی که هر نقطه‌ش یه نمونه‌پرامپته. با فیلتر و رنگ‌بندی می‌شه نقشه رو بر اساسِ دیتاست، مرحلهٔ خط‌لوله، حوزه یا استفاده از ابزار مرتب کرد و چون پرامپت‌های مشابه کنارِ هم جمع می‌شن، می‌شه رویِ یه ناحیه مثلِ کدنویسی یا ایمنی زوم کرد.

بخشِ دیگه‌ای از بحث دربارهٔ محلی‌بودنِ کیفیتِ داده‌ست. به گفتهٔ نویسنده‌ها، یه دسته‌بندِ سمیت که رویِ متنِ انگلیسیِ اینترنت آموزش دیده، ممکنه پیامِ خصمانه به کره‌ای یا ژاپنی رو نگیره، چون پرخاش اونجا بیشتر تو سطحِ ادب پنهون می‌شه تا کلماتِ آشکار. پروژهٔ Nemotron-Personas پرسوناهای مصنوعیِ محلی می‌سازه که آمارِ جمعیتیِ منطقه‌ای رو منعکس می‌کنن؛ هدفش بازسازیِ آدم‌های واقعی نیست، بلکه اینه که تیم‌ها بسنجن سیستمشون واقعاً به کاربرها و زبان‌هایی که ادعا می‌کنن خدمت می‌ده یا نه.

انویدیا تأکید می‌کنه دادهٔ مصنوعی جادو نیست و جای زمینه‌سازی (grounding)، اصالتِ داده، پالایش، ارزیابی و قضاوتِ انسانی رو نمی‌گیره؛ باید مستند شه که چی تولید شده، چی زمینه‌مند بوده و چی بازبینی شده. جمع‌بندیِ نویسنده‌ها اینه که کمیاب‌ترین منبع تو AI توکن نیست، اعتماد بینِ سازمان‌هاست و دادهٔ مصنوعی یکی از معدود ابزارهاییه که برای ساختِ همین اعتماد داریم.

نکات کلیدی:

• انویدیا می‌گه برای ساختِ عامل‌های واقعی، وزنِ باز کافی نیست و دیتاست، دستورِ آموزش و روشِ ارزیابی هم باید باز و قابل‌بازرسی باشه.
• دادهٔ مصنوعی راهیه که سازمان‌ها سیگنالِ مفیدو به اشتراک بذارن بدونِ اینکه داده‌های محرمانه‌شون رو لو بدن.
• Nemotron بیشتر از ۱۰ تریلیون توکنِ پیش‌آموزش و میلیون‌ها نمونهٔ پس‌آموزش منتشر کرده و با ابزارِ Prompt Atlas می‌شه این داده رو تصویری کاوش کرد.
• کیفیتِ داده محلیه، نه جهانی؛ Nemotron-Personas پرسوناهای مصنوعیِ منطقه‌ای می‌سازه تا تیم‌ها پوششِ کاربرهاشون رو بسنجن.
• به گفتهٔ انویدیا کمیاب‌ترین منبع تو AI توکن نیست، اعتماد بینِ سازمان‌هاست.