‏نه فقط داده، بلکه post-training؛ علیه کمی‌سازی صداقت

این یادداشت با یه مشاهده‌ی زبانی شروع می‌شه: مدل‌های زبانی به ساختار «این x نیست، y هست» (که بهش تقابل منفی می‌گن) گرایش دارن. این ساختار کاربرد داره و یه تقابل می‌سازه، ولی استفاده‌ی زیادِ مدل‌ها ازش، همراه با چیزهایی مثل em-dash، کلماتی مثل «delve» و فهرست‌های سه‌تایی، باعث شده مردم بگن «اگه این‌جوری بنویسی، شاید یه بات باشی». نویسنده مشکوکه که این واقعاً بدنویسی باشه؛ یادآوری می‌کنه وقتی جان اف. کندی گفت «نپرس کشورت برات چه می‌کنه، بپرس تو برای کشورت چه می‌کنی» کسی بهش نگفت نویسنده‌ی تنبل. هر آرایه‌ی بلاغی فقط به‌اندازه‌ی محتواش تنبل یا الهام‌بخشه.

بعد سراغ ابزارهای تشخیص هوش مصنوعی می‌ره. Grammarly در همین بخش از مقاله ۲۷ مورد رو علامت زده که باید عوض بشن تا متهم به ماشین‌بودن نشی؛ مثلاً عبارت «automated language production» رو ۱۱ برابر محتمل‌تر به هوش مصنوعی دونسته و پیشنهادِ جایگزین داده. نویسنده می‌گه این پیشنهادها روی هم انباشته می‌شن تا متن دیگه شبیه چیزی که او انتخاب کرده نباشه. حتی ۲۰ دلار به شرکت Pangram داده تا فقط تأیید کنه مقاله‌اش هوش مصنوعی نیست — نه برای فهمیدن، بلکه برای اینکه علامت نخوره، چون اگه سیستم گناهکارش بدونه، یعنی پایان کارش؛ و این به‌قول او یه‌جور اخاذیه.

بخش فنی مقاله به post-training می‌پردازه. می‌گه داده‌ی آموزش دیگه «فقط وب» نیست؛ بعد از آموزش، تکنیک‌هایی مثل RLHF (یادگیری تقویتی با بازخورد انسانی) و مخصوصاً RLVR (یادگیری تقویتی با پاداش‌های تأییدشده) روش اعمال می‌شه. RLVR مدل رو وادار می‌کنه مسائل ریاضی رو با «نوشتنِ راهِ رسیدن به جواب» حل کنه، شبیه وقتی که ما بلند بلند فکر می‌کنیم؛ و وقتی به جواب درست می‌رسه، زبانی که بیشتر استفاده کرده توی مدل نهایی پررنگ می‌شه. این تا حدی همون چیزیه که صنعت بهش «استدلال» می‌گه. نویسنده با مثال «اون سگ عجیب رو چه روزی دیدیم؟» نشون می‌ده که چطور دو دوست با «این‌نبود-اون‌بود» کردن به جواب می‌رسن؛ ولی نکته اینه که هدف اون سؤال پیداکردن تاریخ نبود، یه بهانه برای مرور خاطره و عمیق‌ترکردن رابطه بود. تعریف‌کردن استدلال صرفاً به‌عنوان «گرفتن جواب قابل‌تأیید» همون ابهام و تردیدی رو که برای فکرکردن مهمه نادیده می‌گیره.

نویسنده با اشاره به یه آزمون ارزیابی مقاله با هوش مصنوعی در بریتانیا (که به متن بلندتر و واژگان پیچیده‌تر نمره‌ی بالاتر می‌داد) به قانون گودهارت می‌رسه: «وقتی یه معیار به هدف تبدیل بشه، دیگه معیار خوبی نیست»، که اینجا می‌شه «وقتی معیارِ زبان به هدفش تبدیل بشه، دیگه زبان خوبی نمی‌مونه». جمع‌بندیش اینه که خجالت‌دادن آدم‌ها به‌خاطر نوشتاری که شبیه هوش مصنوعیه، اون‌ها رو وادار می‌کنه از ساختارهای مؤثرِ استدلال دوری کنن؛ مثبت‌های کاذب هم در مقیاس بزرگ انباشته می‌شن. تشخیص هوش مصنوعی در بدترین حالت به یه سیستم نظارت بر فکر تبدیل می‌شه و ما باید در برابر سپردن قضاوتِ گناه به ماشین مقاومت کنیم.

نکات کلیدی:

• مدل‌های زبانی به ساختار «این x نیست، y هست» گرایش دارن، ولی این لزوماً بدنویسی نیست
• ابزارهای تشخیص هوش مصنوعی یه دادگاه راه انداختن که به خودسانسوری و بازنویسی منجر می‌شه
• ریشه‌ی این الگوها post-training و مخصوصاً RLVR است
• طبق قانون گودهارت، وقتی معیارِ زبان هدف بشه دیگه زبان خوبی نمی‌مونه؛ تشخیص هوش مصنوعی به نظارت بر فکر می‌رسه