‏مدل‌های تعاملی؛ نگاه تازه Thinking Machines به گفتگوی زنده با AI

این مقاله‌ی ByteByteGo تحقیق تازه‌ی آزمایشگاه Thinking Machines رو بررسی می‌کنه؛ آزمایشگاهی که روی همکاری انسان و هوش مصنوعی تمرکز داره. ادعای اصلی اینه که کل رویکرد امروزی برای ساخت هوش مصنوعی گفتگوی زنده به یه سقف رسیده و باید طور دیگه‌ای بسازیمش. به گفته‌ی این تیم، بیشتر آزمایشگاه‌ها روی «توانایی خودمختار» تمرکز می‌کنن، یعنی مدلی که کار رو تنهایی تحویل بگیره و انجام بده؛ ولی این نگاه انسان رو کنار می‌ذاره، در حالی که کار واقعی از همکاری پیوسته سود می‌بره.

مشکل از اینجا شروع می‌شه که مدل‌های امروزی توی یه رشته‌ی تکی کار می‌کنن. مدل صبر می‌کنه کاربر حرفش تموم بشه، بعد پاسخ می‌ده و وقتی داره جواب تولید می‌کنه، ادراکش یخ می‌زنه و هر ورودی جدید تو صف می‌مونه. نویسنده اینو مثل حل یه اختلاف مهم از طریق ایمیل به‌جای رودررو توصیف می‌کنه؛ پهنای باند خیلی باریکه و لحن صدا و حالت چهره و لحظه‌ها همه از کانال حذف می‌شن.

اگه صدای هوش مصنوعی امروز بلادرنگ به نظر می‌رسه، به خاطر الگوییه به اسم harness (مهار). یه محصول صوتی معمولی چند تیکه‌ست که به هم چسبیدن: تشخیص فعالیت صوتی که می‌فهمه کِی کاربر ساکت شده، یه مدل گفتار-به-متن، یه مدل زبانی برای تولید جواب، یه مدل متن-به-گفتار، و یه مدیر دیالوگ که همه رو هماهنگ می‌کنه. نویسنده اینو مثل یه دانشمند نابغه می‌دونه که فقط از طریق نامه‌های زیر در حرف می‌زنه و چند نفر بیرون کمکش می‌کنن تا انگار داره گفتگو می‌کنه.

چرا این رویکرد سقف داره؟ چون ابزارهای کمکی از خود مدل ساده‌ترن. مثلاً تشخیص فعالیت صوتی فقط روی سیگنال خام صدا کار می‌کنه، پس رفتارهایی مثل «هر وقت چیز اشتباهی گفتم وسط حرفم بپر» یا «وقتی تو کدم باگ نوشتم بهم بگو» شدنی نیست، چون تصمیم‌گیرنده فقط صدا رو می‌شنوه و درستی محتوا کار مدل زبانیه. به گفته‌ی نویسنده و با اشاره به مقاله‌ی معروف Rich Sutton، روش‌هایی که به محاسبه و یادگیری عمومی تکیه می‌کنن در نهایت از روش‌های دستی جلو می‌زنن، پس راه عبور از سقف اینه که تعامل رو داخل خود مدل بذاریم.

جواب Thinking Machines یه سیستمه به اسم مدل تعاملی. اولین نسخه، TML-Interaction-Small، یه مدل mixture-of-experts با ۲۷۶ میلیارد پارامتر و ۱۲ میلیارد پارامتر فعال در هر لحظه‌ست. برخلاف بیشتر سیستم‌های چندوجهی که از متن شروع می‌کنن و صدا و ویدیو رو روش می‌ذارن، این‌ها برعکس از صدا و ویدیوی پیوسته شروع کردن، چون گفتگوی زنده سخت‌ترین حالته و طراحی حول سخت‌ترین حالت معماری بهتری می‌ده.

هسته‌ی ایده میکروترن‌های هم‌تراز با زمانه. به‌جای نوبت، زمان به تکه‌های ۲۰۰ میلی‌ثانیه‌ای بریده می‌شه؛ هر ۲۰۰ میلی‌ثانیه مدل هرچی از جریان صدا و ویدیو و متن اومده رو می‌گیره و تصمیم می‌گیره چی خروجی بده. این باعث می‌شه مدل بتونه همزمان حرف بزنه و گوش بده (مثل ترجمه‌ی زنده)، همزمان ببینه و حرف بزنه (مثل گزارش زنده‌ی ورزشی)، یا وسط حرف بپره وقتی چیزی بصری اتفاق می‌افته (مثل شمردن شنا موقع ورزش).

اما پاسخ‌گویی سریع یه مشکل تازه می‌سازه: استدلال عمیق چی؟ راه‌حلشون دو مدل هماهنگه؛ یه مدل تعاملی سریع که گفتگوی بلادرنگ رو می‌گردونه و یه مدل پس‌زمینه‌ی کندتر که استدلال طولانی، استفاده از ابزار و مرور وب رو انجام می‌ده. این دو تا کانتکست رو با هم به اشتراک می‌ذارن، پس هر جا مدل تعاملی به فکر عمیق‌تر نیاز داشته باشه یه بسته‌ی کامل از گفتگو رو می‌فرسته به مدل پس‌زمینه و نتیجه‌ها به‌صورت غیرهمزمان برمی‌گرده. برای اثبات این توانایی‌ها، Thinking Machines بنچمارک‌های خودش (مثل TimeSpeak و RepCount-A) رو ساخته و می‌گه مدل‌های موجود توی این کارها یا ساکت می‌مونن یا جواب اشتباه می‌دن. البته محدودیت‌هایی هم هست: نشست‌های خیلی طولانی، نیاز به اینترنت پایدار، و محدودیت اندازه‌ی مدل به خاطر هدف‌های تأخیر.

نکات کلیدی:

• صدای هوش مصنوعی امروز یه مدل زبانی نوبتیه با ابزارهای کمکی دورش که سقف ایجاد می‌کنن
• راه عبور از سقف اینه که تعامل رو داخل خود مدل بذاریم، نه دور و برش
• «میکروترن‌ها» زمان رو به تکه‌های ۲۰۰ میلی‌ثانیه‌ای می‌برن تا مدل همزمان بشنوه و حرف بزنه
• اولین نسخه TML-Interaction-Small با ۲۷۶ میلیارد پارامتر و ۱۲ میلیارد پارامتر فعاله
• یه مدل سریع تعاملی با یه مدل کند پس‌زمینه هماهنگ می‌شه تا هم پاسخ‌گویی و هم استدلال عمیق داشته باشیم