سیلیکو: پلتفرم جدید گودفایر برای ساخت مدل‌های هوش مصنوعی با دقت نرم‌افزاری
هوش مصنوعیخلاصهٔ کامل‌تر
گودفایر (Goodfire) یه پلتفرم تازه به اسم سیلیکو (Silico) معرفی کرده که هدفش اینه مدل‌های هوش مصنوعی رو از یه جعبه‌سیاه غیرقابل فهم تبدیل کنه به چیزی که بشه مثل کد نرم‌افزاری باهاش کار کرد، دیباگش کرد و آگاهانه طراحیش کرد.
سیلیکو روی مفهوم تفسیرپذیری (interpretability) بنا شده. تفسیرپذیری یعنی تونستن فهمید مدل واقعاً چی یاد گرفته، نه فقط اینکه خروجی درست می‌ده یا نه. گودفایر قبلاً با همین تکنیک‌ها کارهای جالبی انجام داده: کشف یه دسته جدید از بیومارکرهای آلزایمر، آموزش دادن به یه مدل زبانی برای اینکه توهم‌زایی خودش رو تصحیح کنه، و شناسایی گلوگاه‌های عملکردی در مدل‌های رباتیک.
یکی از مهم‌ترین قابلیت‌های سیلیکو، یه عامل خودکار به اسم «نوروساینتیست مدل» (model neuroscientist) هست که می‌تونه به‌صورت مستقل آزمایش‌های موازی روی مدل طراحی و اجرا کنه. این عامل در محیط طراحی مدل با تیم کار می‌کنه و امکان همکاری، سازمان‌دهی تحقیقات و تکرار نتایج پیپرهای علمی رو فراهم می‌کنه.
سیلیکو ۵ قابلیت اصلی داره: اول، دیدن داخل مدل — یعنی تجزیه مدل به ویژگی‌های قابل تفسیر و تشخیص اینکه مدل واقعاً چیزی فهمیده یا فقط یه همبستگی کاذب یاد گرفته. دوم، چک کردن سلامت مدل — تشخیص مشکلاتی مثل undertraining، گلوگاه اطلاعاتی و feature collapse قبل از اینکه به عملکرد نهایی آسیب بزنن.
سوم، دیباگ کردن خطاها — شناسایی دقیق مشکلات رفتاری مدل، حذف عوامل مخدوش‌کننده و تشخیص خرابی‌ها قبل از رسیدن به محیط production. چهارم، شکل‌دهی به رفتار مدل — استفاده از ویژگی‌های داخلی برای استخراج پیش‌بین‌های قوی‌تر و هدایت تولید به سمت تعمیم‌پذیری که با training معمولی قابل دسترس نیست. پنجم، تعمیم با داده کمتر — هدف قرار دادن ساختارهای یادگرفته‌شده‌ای که رفتار رو هدایت می‌کنن تا بشه با همون یا حتی کمتر داده، تعمیم بهتری داشت.
CEO و هم‌بنیان‌گذار گودفایر، اریک هو (Eric Ho)، در مصاحبه با MIT Technology Review گفته که سیلیکو می‌خواد تکنیک‌های پیشرفته تفسیرپذیری که تا حالا فقط در اختیار تیم‌های تحقیقاتی خاص بود رو برای همه مهندسان و محققان قابل استفاده کنه.
گودفایر در ماه‌های اخیر تحقیقات جالبی هم داشته: با استفاده از probeهای SAE، تشخیص اطلاعات شناسایی شخصی (PII) رو با کیفیتی معادل GPT-4 Mini اما با هزینه ۱۵ تا ۵۰۰ برابر کمتر ممکن کرده. همچنین با همکاری Mayo Clinic روی پیش‌بینی واریانت‌های ژنتیکی بیماری‌زا از بین ۴.۲ میلیون واریانت، نتایج state-of-the-art ای به دست آورده.
سیلیکو الان در مرحله early access هست و میشه از وب‌سایت goodfire.ai/platform ثبت‌نام کرد.
نکات کلیدی:
- سیلیکو پلتفرمی برای تفسیرپذیری مدل‌های هوش مصنوعیه که کار طراحی، دیباگ و بهینه‌سازی مدل رو حرفه‌ای‌تر می‌کنه
- یه عامل هوشمند به اسم «نوروساینتیست مدل» آزمایش‌های خودکار روی مدل طراحی و اجرا می‌کنه
- میشه مشکلاتی مثل undertraining، feature collapse و گلوگاه اطلاعاتی رو قبل از production شناسایی کرد
- گودفایر با همین تکنیک‌ها بیومارکر آلزایمر کشف کرده و توهم‌زایی LLM رو کاهش داده
- پلتفرم الان در مرحله دسترسی زودهنگام قرار داره
