‏ساختن یه توکنایزر بهینه برای مدل‌های زبانی

توکنایزر چیزیه که متن رو به دنبالهٔ عددهایی به اسم توکن تبدیل می‌کنه؛ هر توکن به یه رشته از بایت‌ها اشاره می‌کنه که معمولاً به کلمه‌های پرتکرار می‌خورن. این نگاشت توکن به بایت، یعنی «واژگان» (vocabulary)، قبل از این‌که اصلاً مدل آموزش ببینه ثابت می‌شه و هدف اینه که یه واژگان با اندازهٔ معین انتخاب بشه که داده رو با کمترین تعداد توکن کد کنه. روش غالب برای این کار byte-pair encoding (BPE) هست که یه الگوریتم فشرده‌سازی حریصانه و قدیمیه.

به گفتهٔ نویسنده، در یه مقالهٔ اخیر، Tempus و همکاران توکن‌سازی رو به برنامه‌ریزی خطی عددصحیح (ILP) وصل کردن. تو این مدل برای هر زیررشتهٔ یکتای داده یه متغیر «رنگ» (color) هست که می‌گه اون رشته تو واژگان هست یا نه، و برای هر بار تکرار یه رنگ هم یه متغیر «یال» (edge) که نشون می‌ده اون توکن دقیقاً تو همون جا استفاده شده یا نه. هدف، کم‌کردن مجموع یال‌هاست، یعنی کل تعداد توکن‌ها. چون حل ILP دلخواه به‌صرفه نیست، اونا مسئله رو به یه LP پیوسته شل (relax) می‌کنن، ولی جواب LP پیوسته معمولاً عددصحیح نیست و باید گرد بشه که جواب رو زیربهینه می‌کنه.