‏DocLang؛ یه فرمت سند تازه که برای هوش مصنوعی ساخته شده

به گزارش نویسنده، بعد از اینکه وب‌سایت‌ها دارن برای مصرف مدل‌های AI بازطراحی می‌شن، حالا یه ائتلاف می‌خواد همین روند رو به اسناد دیجیتال هم بکشونه. LF AI & Data Foundation زیر چتر Linux Foundation یه working group راه انداخته تا فرمتی به اسم DocLang بسازه؛ یه فرمت سندِ AI-friendly که کارش کمک به شرکت‌هاست تا فایل‌هاشون رو راحت‌تر به سیستم‌های AI بدن.

این گروه که IBM، NVIDIA، Red Hat، ABBYY، HumanSignal و Forgis بنیان‌گذاراش هستن، استدلال می‌کنه که فرمت‌های موجود مثل PDF، Markdown، HTML و LaTeX برای پارس‌شدن توسط AI مناسب نیستن. به گفته‌ی نویسنده، این کار روی یه ابزار قبلی IBM به اسم Docling (از اواخر ۲۰۲۴) بنا شده، ولی DocLang یه قدم جلوتره: یه استاندارد برای تبادل خروجی ساختارمند بین سیستم‌های مختلف.

منطق فنی‌ش اینه که فرمت‌های فعلی برای رندر طراحی شدن، نه فهمیدن؛ برای همین موقعی که مدل تبدیلشون می‌کنه به توکن، اطلاعات معنایی، روابط ساختاری یا context هندسی از دست می‌ره. به گفته‌ی spec، مشکل Markdown کمبود دامنه‌ست، HTML بیش از حد verbose ـه و LaTeX ابهام زیادی مجاز می‌ذاره. DocLang به‌جاش با یه واژگان محدود XML کار می‌کنه که تک‌به‌تک (۱ به ۱) با توکن‌های LLM نگاشت می‌شه، lossless ـه و از جدول، فرمول، چارت و محتوای چندوجهی پشتیبانی می‌کنه.

یه انگیزه‌ی مهم دیگه، هزینه‌ست. به گفته‌ی یکی از مدیران ABBYY، هر بار که یه PDF وارد pipeline ـه AI می‌شه، ساختار و معنی و layout گم می‌شه و مدل مجبوره به‌جای استخراج معنی، توکن بسوزونه تا layout رو حدس بزنه؛ همین هم ریسک hallucination رو بالا می‌بره. به ادعای اون، benchmark های اولیه‌شون بسته به مدل، بین ۴ تا بیش از ۳۰ برابر کاهش هزینه نشون داده.

نویسنده یه مثال ملموس هم می‌آره: تو benchmark ـه تعاملی ABBYY، یه PDF از گزارش سالانه‌ی ۲۰۲۵ ـه IBM حدود ۸۴۲۱ توکن ورودی می‌خواد، ولی نسخه‌ی DocLang فقط ۵۳۱۰ توکن — با latency کمتر (۲.۷ ثانیه در برابر ۴.۲) و کیفیت بهتر (تو نسخه‌ی PDF مدل یه زیربخش رو جا انداخته و یه جدول رو خراب کرده بود). استاندارد باز و رایگانه و گروه داره از شرکت‌های بیشتری دعوت می‌کنه بپیوندن، هرچند به گفته‌ی خودشون هنوز اولِ راهه و نمی‌خوان میزان پذیرش رو بزرگ‌نمایی کنن.

نکات کلیدی:

• DocLang یه فرمت سندِ AI-محور ـه که زیر نظر Linux Foundation توسعه پیدا می‌کنه
• بنیان‌گذاراش IBM، NVIDIA، Red Hat و ABBYY هستن و روی ابزار Docling ـه IBM بنا شده
• استدلالشون اینه که PDF و HTML و Markdown برای رندر ساخته شدن و موقع توکن‌سازی معنی رو از دست می‌دن
• از واژگان محدود XML با نگاشت ۱ به ۱ به توکن‌های LLM استفاده می‌کنه و lossless ـه
• به ادعای ABBYY تا بیش از ۳۰ برابر هزینه و توکن رو کم می‌کنه؛ استاندارد باز و رایگانه