‏اسکرپ و خلاصه‌سازی کاملاً لوکال با Obscura و Ollama

Obscura یه مرورگر هدلس متن‌باز نوشته‌شده با Rust ه که صفحه‌های سنگین جاوااسکریپتی رو بدون کروم رندر می‌کنه. بیشتر سایت‌های امروزی تا جاوااسکریپتشون اجرا نشه محتوایی نشون نمی‌دن، برای همین پایپ‌لاین‌های اسکرپ معمولاً می‌رن سراغ Puppeteer یا Playwright که یه کروم هدلس کامل رو می‌چرخونن؛ یعنی بالای ۲۰۰ مگابایت رم به‌ازای هر نمونه و یه زنجیرهٔ وابستگی شامل Node. به گفتهٔ Fahad Mirza که این دمو رو اجرا کرده، Obscura حدود ۳۰ مگابایت رم می‌گیره و صفحه رو تو حدود ۸۵ میلی‌ثانیه لود می‌کنه.

خود پایپ‌لاین دو نیمه داره که با متن ساده به هم وصل می‌شن. نیمهٔ اول Obscura ه: URL رو می‌گیره، جاوااسکریپت صفحه رو با V8 اجرا می‌کنه، HTML رو پارس می‌کنه و صفحه رو تبدیل به مارک‌داون می‌کنه. نصبش کامپایل Rust نمی‌خواد؛ باینری با یه دستور tar باز می‌شه و تمومه. تو یه تست، اسکرپ کل یه سایت شخصی یه فایل مارک‌داون ۲۶۷ خطی رو تو حدود ۱۵ ثانیه ساخته و رم تقریباً تکون نخورده. نیمهٔ دوم یه مدل لوکاله که با Ollama سرو می‌شه، و چسب بین این دو تا فقط یه pipe شله.

تو ستاپ دمو، مارک‌داون خروجی مستقیم رفته تو یه مدل Qwen 3.6 با ۲۷ میلیارد پارامتر که لوکال روی یه GPU از نوع Nvidia RTX A6000 با ۴۸ گیگ VRAM اجرا می‌شده، و پرامپت ازش خلاصهٔ پنج‌بندی خواسته. چون Qwen 3.6 یه مدل استدلالیه، اول قابل‌مشاهده «فکر می‌کنه» و بعد جواب می‌ده، ولی کل رفت‌وبرگشت از اسکرپ تا خلاصه برای یه پست بلاگ خیلی زیر یک دقیقه تموم شده. تنها شرط سمت مدل پشتیبانی از tool use ه، پس هر مدلی که Ollama سرو کنه و tool calling داشته باشه جای Qwen می‌شینه.

سبک موندنش از ساختار داخلیش میاد: پروژه به هشت crate (بستهٔ Rust) جدا تقسیم شده و درخواست فقط از بالا به پایین حرکت می‌کنه، از سرور CDP و دیسپچر تا سه بستهٔ پایینی برای fetch، پارس HTML و اجرای جاوااسکریپت. همهٔ صفحه‌ها یه V8 isolate تک‌نخی مشترک دارن، پس یه lock اجرای جاوااسکریپت رو سریالی می‌کنه؛ یعنی کد کوچیک و قابل‌بازرسی می‌مونه ولی همزمانی واقعی رو از دست می‌دی. اینترفیس سازگار با CDP هم باعث می‌شه ابزارهای Puppeteer با کمترین تغییر باهاش کار کنن.

نویسنده اما نمی‌گه آمادهٔ production ه. خروجی مارک‌داون خامه و منو و فوتر و بنر کوکی قاتی محتوا میان، پس یه مرحلهٔ تمیزکاری لازمه، چه با قاعده‌های ساده چه با یه پاس دوم از مدل. Obscura هم یه موتور مرورگره، نه فریم‌ورک اسکرپ؛ rate limiting و چرخش پروکسی و دور زدن ضدربات نداره. در عوض از MCP پشتیبانی می‌کنه، پس یه ایجنت می‌تونه روی STDIO بهش بگه برو این صفحه رو بیار و مارک‌داونشو تحویل بگیره.

نکات کلیدی:

• حدود ۳۰ مگابایت رم و لود صفحه در حدود ۸۵ میلی‌ثانیه، در برابر بیش از ۲۰۰ مگابایت هر نمونه کروم هدلس
• دموی مرجع: مدل Qwen 3.6 با ۲۷ میلیارد پارامتر روی Nvidia RTX A6000 با ۴۸ گیگ VRAM
• هر مدلی که Ollama سرو کنه و tool calling داشته باشه جایگزین Qwen می‌شه
• اسکرپ کل یه سایت شخصی: فایل مارک‌داون ۲۶۷ خطی در حدود ۱۵ ثانیه
• هشت crate با جریان یک‌طرفه و یه V8 isolate تک‌نخی که اجرای جاوااسکریپت رو سریالی می‌کنه
• بدون rate limiting، پروکسی و ضدربات؛ خروجی خام هم به پاک‌سازی نیاز داره