مدلهای زبانی بزرگ چطوری یاد میگیرن؟
خلاصهٔ کاملتر
نویسنده با یه مثال ساده شروع میکنه: پیشبینی قیمت آپارتمان تو نیویورک از روی متراژ، تعداد حموم و محله. میشه برای این کار دستی قانون نوشت، ولی این روش برای هزاران نمونه و صدها ورودی جواب نمیده. شبکه عصبی (یعنی یه تابع که ورودی میگیره و یه خروجی پیشبینی میکنه) این قانونها رو خودش میسازه. هر ورودی در یه عدد به اسم parameter یا weight (یعنی یه «پیچ» که میگه اون ورودی چقدر مهمه) ضرب میشه و نتیجهها با هم جمع میشن.
اولش این پیچها تصادفیان و خروجی عملاً بیمعنیه. مثلاً یه آپارتمان تو Soho که باید ۲ میلیون دلار باشه، ۹۴۲ هزار دلار پیشبینی میشه. از اون طرف، رابطههای واقعی ساده نیستن؛ ارزش یه حموم اضافه میتونه به محله بستگی داشته باشه. واسه همین شبکهها لایهلایه میشن: خروجی یه لایه، ورودی لایه بعدیه و یه جورایی «تابع توی تابع توی تابع» ساخته میشه که الگوهای پیچیدهتر رو هم میگیره.
برای اینکه بفهمیم مدل چقدر اشتباه کرده، از loss استفاده میشه، یعنی میانگین فاصله بین پیشبینی و جواب درست. حالا سؤال اینه که میلیاردها پیچ رو چطوری تنظیم کنیم. جوابش backpropagation هست: برای هر parameter مشتق loss حساب میشه، یعنی اگه این یه پیچ رو یه ذره بچرخونیم، loss چقدر عوض میشه. با دونستن این برای همه پیچها، میشه همهشون رو همزمان یه کم در جهت درست جابهجا کرد و با تکرار، مدل کمکم دقیقتر میشه.
انجام دادن این حسابها با دست عملاً غیرممکنه. ابزارهایی مثل PyTorch، JAX و TensorFlow یه autograd engine هستن، یعنی هر عملیات ریاضی که روی parameterها انجام میشه رو ثبت میکنن. بعد از اینکه پیشبینی و loss حساب شد، این زنجیره رو برعکس طی میکنن و تغییر لازم برای هر parameter رو درمیارن. یعنی بعد از هر batch از دادهها، مدلی با میلیاردها parameter بدون دخالت دستی آپدیت میشه.
به گفته مقاله، یه مدل زبانی واقعی همین ایدهست ولی خیلی بزرگتر: بهجای سه ورودی، روی حجم عظیمی از متن آموزش میبینه و بهجای چندتا پیچ، میلیاردها یا تریلیونها parameter داره. مدلی که دانلود میکنی در اصل یه فایل بزرگ پر از عدده، بهعلاوه یه برنامه نسبتاً کوچیک Python که میگه این عددها چطوری به هم وصلن. وقتی میگن مدلی «۲ تریلیون parameter» داره، یعنی دقیقاً ۲ تریلیون عدد قابل تنظیم. همین چرخه، همراه با مرحلههایی مثل pre-training و post-training، پایه ChatGPT و Claude هست.
نکات کلیدی:
- parameter یه عدد قابل تنظیمه که تعیین میکنه هر ورودی چقدر روی خروجی اثر داره.
- loss فاصله بین پیشبینی مدل و جواب درست رو اندازه میگیره و هدف آموزش کم کردنشه.
- backpropagation برای هر parameter حساب میکنه که تغییر کوچیکش چقدر loss رو عوض میکنه.
- PyTorch، JAX و TensorFlow بهعنوان autograd engine این حسابها رو خودکار انجام میدن.
- یه مدل «۲ تریلیون parameter» یعنی یه فایل با ۲ تریلیون عدد و یه برنامه کوچیک Python.




