‏OCR 4 میسترال؛ از خوندن متن تا فهمیدن ساختار سند

میسترال از OCR 4 رونمایی کرده، مدلی کوچیک و تخصصی برای استخراج و ساختاردهی محتوای اسناد. برخلاف نسل‌های قبلی که فقط صفحه رو به متن و جدول تمیز تبدیل می‌کردن، OCR 4 برای هر بلاک از سند، هم جعبهٔ محدودکننده (bounding box)، هم نوع بلاک (عنوان، جدول، معادله، امضا و غیره) و هم امتیاز اطمینان در سطح کلمه و صفحه برمی‌گردونه.

به گفتهٔ میسترال، تو ارزیابی انسانی روی بیش از ۶۰۰ سند و ۱۲ زبون، ارزیاب‌های مستقل OCR 4 رو نسبت به همهٔ رقبا (با نرخ برد میانگین ۷۲٪) ترجیح دادن. این مدل همچنین بالاترین امتیاز رو رو بنچمارک عمومی OlmOCRBench (۸۵.۲۰) گرفته و رو ارزیابی داخلی چندزبانهٔ خودشون هم پیشتازه؛ هرچند میسترال تاکید می‌کنه بعضی بنچمارک‌های خودکار، به‌خاطر ایراداتی مثل خطای متن مرجع یا نمادهای ریاضی معادل، دقیق‌ترین معیار عملکرد واقعی نیستن.

OCR 4 از ۱۷۰ زبون تو ۱۰ گروه زبانی پشتیبانی می‌کنه و به‌طور خاص تو زبون‌های کم‌منبع و تخصصی (مثل گجراتی، تامیل، ارمنی یا گرجی) که خیلی از رقبا توشون ضعیف عمل می‌کنن، فاصلهٔ بیشتری از رقبا می‌گیره. این مدل به‌قدری فشرده‌ست که میشه تو یه کانتینر تنها روی زیرساخت خود سازمان اجرا و self-host کرد، که برای نیازهای حاکمیت داده و انطباق مقرراتی مهمه.

از کاربردهای پیشنهادی این مدل میشه به تبدیل اسناد به بلاک‌های تمیز و طبقه‌بندی‌شده برای RAG، دادن این ساختار به ایجنت‌ها برای کارایی مثل پرکردن فرم یا پردازش فاکتور، و استفاده از امتیازهای اطمینان برای مشخص‌کردن جاهایی که نیاز به تایید انسانی دارن اشاره کرد. میسترال به‌صراحت میگه OCR 4 برای تشخیص پزشکی، مشاورهٔ حقوقی یا تصمیم‌های مالی حساس مناسب نیست؛ فقط یه مدل فهم سنده، نه تصمیم‌گیر.

OCR 4 از طریق API با قیمت ۴ دلار به ازای هر هزار صفحه (و ۲ دلار با تخفیف Batch API) در دسترسه، و نسخهٔ Document AI با قابلیت خروجی JSON ساختاریافته و دلخواه، ۵ دلار به ازای هزار صفحه قیمت داره. این مدل از طریق Mistral Studio، آمازون SageMaker و Microsoft Foundry هم قابل دسترسیه، و به‌زودی رو Snowflake Parse Document هم میاد.

نکات کلیدی:

• میسترال OCR 4 رو معرفی کرده؛ مدلی که علاوه بر متن، جعبهٔ محدودکننده، نوع بلاک و امتیاز اطمینان هم برمی‌گردونه
• تو ارزیابی انسانی و بنچمارک OlmOCRBench نسبت به رقبا برتری داشته، هرچند میسترال به محدودیت‌های بنچمارک‌های خودکار هم اشاره کرده
• از ۱۷۰ زبون پشتیبانی می‌کنه و رو یه کانتینر تنها قابل self-host هست
• قیمتش ۴ دلار به ازای هر هزار صفحه‌ست (۲ دلار با Batch API) و برای تصمیم‌های حساس مثل پزشکی یا حقوقی توصیه نمیشه