‏H-Net کارتزیا: مدل زبانی بدون توکنایزر، با ۱۰ برابر محاسبهٔ کمتر

مدل‌های زبانی امروزی متن رو مستقیم نمی‌خونن. اول یه tokenizer (یعنی ابزاری که متن رو به تیکه‌های ثابت از قبل تعریف‌شده می‌شکنه) متن رو تبدیل به توکن می‌کنه. رایج‌ترین روش BPE هست که با تکرار، پرتکرارترین جفت‌بایت‌ها رو ادغام می‌کنه. تیم Cartesia تو این مقاله می‌گه توکنایزر یکی از آخرین بخش‌های دست‌ساز این زنجیره‌ست و جلوی یادگیری end-to-end رو می‌گیره. راه‌حلشون H-Net یا hierarchical network هست که خود مدل یاد می‌گیره بایت‌ها رو چطور به کلمه، عبارت و مفهوم گروه کنه.

اول یه مقایسهٔ کنترل‌شده ساختن: یه سری مدل Transformer با BPE تو اندازه‌های مختلف (scaling ladder) و کنارش همون مدل‌ها که فقط بخش توکنایزرشون با یه H-Net یک‌مرحله‌ای عوض شده. شبکهٔ داخلی دقیقاً یکی بوده، FLOP و پارامترها برابر بودن و حتی نرخ فشرده‌سازی هم روی 4.57 بایت به ازای هر توکن ثابت شده. با این حال H-Net تو همهٔ اندازه‌ها loss کمتری داشته: 1.28 برابر بهینه‌تر روی داده‌های آموزشی و حدود ۲ برابر روی ارزیابی‌هایی مثل Paloma و OLMES.

روی کد فاصله بیشتر هم شده. تو ۱۵ زبان برنامه‌نویسی داخل دادهٔ آموزشی، بهینگی از 1.49 برابر روی Markdown تا 2.40 برابر روی Go بوده (میانه 2.04). روی ده زبانی که مدل اصلاً ندیده بود، مثل OCaml، Lean و Fortran، میانه به 3.10 برابر رسیده و روی Prolog تا 5.37 برابر. نویسنده‌ها فکر می‌کنن دلیلش اینه که کد پر از فاصله، نماد و اسم متغیرهای جدیده و توکن‌های ثابت نمی‌تونن همه‌شو پوشش بدن.

بعد سراغ یه آزمایش بزرگ‌تر رفتن: یه H-Net دومرحله‌ای در برابر SmolLM3، مدل ۳ میلیاردی Hugging Face که دستور آموزشش کامل منتشر شده. H-Net اونا لایه‌های Mamba-2 تو encoder و decoder و یه Transformer چهل‌لایه تو مرکز داره، 3.67 میلیارد پارامتر در برابر 3.08 میلیارد. محاسبه به ازای هر بایت تا ۲ درصد برابر نگه داشته شده. نتیجه: H-Net با حدود ۱ تریلیون توکن به امتیاز نهایی SmolLM3 رسیده که ۱۱.۱ تریلیون توکن آموزش دیده بود؛ یعنی حدود ۱۰ برابر صرفه‌جویی تو داده و محاسبه.

یه رفتار جالب هم دیدن به اسم in-context tokenization، یعنی تیکه‌بندی مدل حین استفاده هم عوض می‌شه. وقتی یه کلمهٔ ناآشنا اول بار میاد، H-Net اونو به چند تیکه می‌شکنه، ولی هر بار که تکرار می‌شه، کمتر تیکه‌ش می‌کنه. مثلاً اسم یه متغیر تو کد بعد از چند بار تکرار یه تیکه می‌شه. تیکه‌ها هم معنادارترن، مثل wonder ed، و گاهی چند کلمه مثل «quite a few» یه تیکه می‌شن.

خود نویسنده‌ها قبول دارن که مقایسهٔ منصفانه ساده نیست. BPE متن انگلیسی رو بیشتر فشرده می‌کنه ولی H-Net کد رو، پس نمی‌شه هم داده و هم محاسبه رو دقیقاً برابر کرد. اونا می‌گن این‌ها هنوز سؤال‌های باز تحقیقاتی‌ان. این قسمت اول از یه سری دوقسمتیه و تیم Cartesia کارهایی روی زیست‌شناسی و بینایی ماشین با H-Net هم در دست داره.

نکات کلیدی:

• H-Net توکنایزر ثابت رو حذف می‌کنه و تیکه‌بندی متن رو داخل خود مدل و end-to-end یاد می‌گیره
• جایگزینی فقط توکنایزر با H-Net یک‌مرحله‌ای: 1.28 برابر بهینه‌تر روی داده‌های آموزشی و حدود ۲ برابر روی ارزیابی‌ها
• روی زبان‌های برنامه‌نویسی دیده‌نشده میانهٔ 3.10 برابر و تا 5.37 برابر روی Prolog
• H-Net دومرحله‌ای 3.67B با حدود 1T توکن به امتیاز نهایی SmolLM3 با 11.1T توکن رسیده
• نسبت فشرده‌سازی حدود 7.6 بایت به ازای هر موقعیت، در برابر حدود 4.5 بایت برای توکن Llama-3