تست محلی MiniCPM-OCR 1.0؛ OCR متن‌باز برای سندهای پیچیده
هوش مصنوعی
پایتونخلاصهٔ کامل‌تر
MiniCPM-OCR 1.0 یه مدل OCR متن‌باز از OpenBMB هست که روی مدل بینایی-زبانی MiniCPM-V-4.6 فاین‌تیون شده. کارش خوندن متن چاپی، دست‌خط، جدول، فرمول و صفحه‌های چندستونی و تبدیلشون به Markdown ساختاریافته‌ست؛ یعنی جدول جدول می‌مونه و فرمول به LaTeX تبدیل میشه. مجوزش Apache 2.0 هست و تو Hugging Face بیشتر از ۵۵ هزار دانلود داشته. این مقاله نتیجهٔ تست دستی و محلی این مدل روی چند جور سند رو تعریف می‌کنه.
بهترین نتیجه مال یه صفحه فرمول فیزیک دست‌نویس و شلوغ بود. ساختار LaTeX یعنی کسرها، انتگرال‌ها، زیرنویس‌ها و رادیکال‌ها درست دراومد. خطاها در حد تک‌کاراکتر بودن: مثلاً «p» تکانه رو «rho» خوند، m_e رو m_we نوشت و یه مساوی اضافه بین دو کسر گذاشت. یعنی به اسکلت خروجی میشه اعتماد کرد، ولی هر نماد رو باید چک کنی.
ضعف اصلی تو نمودارها بود. روی یه نمودار دومحوره دربارهٔ صادرات نیمه‌رسانا، متن چهار کارت خلاصهٔ زیر نمودار رو درست خوند. ولی وقتی خود نمودار رو به جدول تبدیل کرد، عددها حدود ده برابر اشتباه بودن؛ مثلاً ۴۱,۰۰۰ رو ۴,۱۰۰ نوشت. به نظر میاد مقدارها رو از ارتفاع میله‌ها حدس می‌زنه، نه از برچسب‌های محور.
روی صفحهٔ اول روزنامهٔ New Zealand Herald مال سال ۱۹۷۴، بیشتر تیترها و متن‌ها درست خونده شدن. مشکل ترتیب خوندن بود: دو ستون کنار هم رو تو یه جملهٔ قاطی ادغام کرد و یه ستون کناری رو وسط یه خبر بی‌ربط گذاشت. روی یه فاکتور ساده هم همهٔ ردیف‌ها و شناسهٔ محصول‌ها درست بودن، ولی کلمهٔ «invoice» و جملهٔ «thank you» پایین صفحه حذف شدن. نویسنده می‌گه مدل‌های OCR رقیب هم همین مشکل پانویس رو داشتن.
تو تصویر چندزبانه، انگلیسی رو با اینکه صفحه چرخیده بود خوب خوند و اندونزیایی رو هم امتحان کرد، ولی عربی و اردو رو اصلاً نتونست. این با تمرکز رسمی مدل روی انگلیسی و چینی جور درمیاد. روی یه قرارداد چینی با مهر قرمز روی امضا، متن تقریباً بی‌نقص بود و حتی متن داخل مهر رو فقط با یه کاراکتر اشتباه خوند.
موقع اجرا کمتر از ۴ گیگابایت VRAM مصرف کرد، ولی نصبش سخت بود: نصب PaddlePaddle با پشتیبانی GPU، build کردن بخش‌های VL و LM و بعد سرو کردن با VLLM. کل راه‌اندازی روی سیستمی با ۴۸ گیگ VRAM حدود سه تا سه و نیم ساعت طول کشید. طبق بنچمارک‌های خود OpenBMB، مدل بین حدود ۱۵ رقیب تو چهارتا از شش بنچمارک، از جمله OmniDocBench و OLMOCR-bench، اول شده. نویسنده معتقده برای متن چاپی و چینی انتخاب پیش‌فرض خوبیه، ولی داده‌های نمودار و زبان‌های دیگه بررسی دوم لازم دارن.
نکات کلیدی:
- MiniCPM-OCR 1.0 روی MiniCPM-V-4.6 ساخته شده و مجوزش Apache 2.0 هست
- مصرف VRAM موقع اجرا کمتر از ۴ گیگابایت
- تبدیل نمودار به جدول عددها رو حدود ده برابر اشتباه درآورد
- عربی و اردو رو نخوند؛ زبان‌های اصلی انگلیسی و چینی هستن
- متن پانویس فاکتور مثل «thank you» حذف شد
- راه‌اندازی کامل حدود سه تا سه و نیم ساعت طول کشید
