چرا نمیتونیم هوش مصنوعی رو درست بسنجیم؟
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
ملانی میچل، دانشمند علوم کامپیوتر و شناخت تو موسسه سانتافه، تو گفتوگو با پادکست Joy of Why مجله Quanta میگه هوش مصنوعی یه جور «هوش بیگانه»ست: با اینکه از زبان و متنهای انسانی آموزش دیده، ولی روش یادگیری و استدلالش اصلا شبیه ذهن آدم نیست. به گفته میچل، ما هنوز روش درستی برای سنجیدن شناخت این ماشینها نداریم، برای همین پیشنهاد میده از تجربه دو حوزه دیگه کمک بگیریم: روانشناسی رشد که رفتار نوزادها رو مطالعه میکنه، و روانشناسی مقایسهای که هوش حیوونهایی مثل سگ و پرنده رو بررسی میکنه.
میچل شش اصل برای ارزیابی بهتر شناخت هوش مصنوعی معرفی میکنه: اول، حواسمون به تمایل طبیعیمون به انسانانگاری ماشین باشه. دوم، به فرضیههامون شک کنیم و آزمایش کنترلشده طراحی کنیم. سوم، نسخههای جدید و متفاوتی از تستها بسازیم تا تعمیمپذیری مدل رو بسنجیم. چهارم، این مدلها لزوما جعبه سیاه نیستن و میشه کاوششون کرد. پنجم، فرق بین «عملکرد» و «توانایی واقعی» رو در نظر بگیریم. ششم، شکستهای مدل رو دقیق بررسی کنیم، چون نتایج منفی معمولا کنار گذاشته میشن ولی خیلی چیز یاد میدن.
میچل برای توضیح این خطر، داستان اسبی به اسم Clever Hans رو تعریف میکنه که اوایل قرن بیستم تو آلمان معروف بود چون انگار میتونست جواب سوالهای ریاضی رو با تعداد ضربه سمهاش نشون بده. تا اینکه یه روانشناس به اسم اوسکار فونگست آزمایش کنترلشده انجام داد: وقتی اسب نمیتونست چهره پرسشکننده رو ببینه، دیگه جواب درست نمیداد. معلوم شد اسب داره از رو واکنش ناخودآگاه صورت آدمها جواب رو حدس میزنه، نه اینکه واقعا حساب بلد باشه.
میچل میگه دقیقا همین اتفاق برای بعضی مدلهای هوش مصنوعی هم افتاده: یه مدل که ظاهرا میتونست درباره نمودارهای علمی توضیح بده، وقتی نمودار رو حذف کردن بازم درست جواب داد، چون فقط یه ارتباط مصنوعی بین کلمههای سوال و جواب پیدا کرده بود، نه اینکه واقعا نمودار رو فهمیده باشه. اون به همین خاطر روی اهمیت تکرار مستقل آزمایشها تاکید میکنه؛ چیزی که به گفتهش تو پژوهشهای هوش مصنوعی خیلی کم انجام میشه.
تو بخش دیگه گفتوگو، به یه اتفاق تازه تو دنیای ریاضی هم اشاره میشه: یکی از مدلهای پیشرفته هوش مصنوعی تونسته یکی از مسئلههای حلنشده پل اردوش، ریاضیدان مشهور مجار، به اسم «مسئله فاصله واحد» رو با ترکیب دو شاخه متفاوت ریاضی حل کنه. میچل میگه نمیشه مطمئن بود این خلاقیت واقعیه یا فقط شانسیه؛ چون مدل رو کل اینترنت و کتابهای ریاضی هم آموزش دیده و مرز «تعمیم» براش قابل تشخیص نیست.
نکات کلیدی:
- میچل هوش مصنوعی رو «هوش بیگانه» میدونه که با ذهن انسان قابل مقایسه مستقیم نیست.
- شش اصلش: هوشیاری به انسانانگاری، شک به فرضیه، آزمایشهای متنوع، کاوش مدل، تفکیک عملکرد از توانایی واقعی، بررسی شکستها.
- داستان اسب Clever Hans نشون میده آزمایش بد طراحیشده چطور بهغلط نتیجه «هوشمندی» میگیره.
- یه مدل مسئله «فاصله واحد» اردوش رو حل کرده؛ معلوم نیست خلاقیت واقعیه یا محصول جستوجو تو دادههای عظیم.
- تکرار مستقل نتایج تو پژوهشهای هوش مصنوعی به اندازه علوم دیگه رایج نیست.
