API تبدیل صفحه وب به Markdown از Exabase
خلاصهٔ کاملتر
Exabase برای API استخراج محتواش یه خروجی Markdown اضافه کرده. همون endpoint همیشگی POST /v2/extract کار رو انجام میده: رندر جاوااسکریپت، استخراج محتوا، خوندن متادیتا و ساخت thumbnail. فرقش فقط تو خروجیه: موقع گرفتن نتیجه اگه ?format=markdown بفرستی، بهجای JSON یه سند Markdown خوانا میگیری.
سند خروجی بالاش متادیتا داره (عنوان صفحه، اسم سایت، MIME type و حجم) و بعد کل متن صفحه زیر بخش ## Content میاد. صفحههایی که با جاوااسکریپت رندر میشن هم مثل HTML ساده پردازش میشن، یعنی دیگه نیازی به Puppeteer یا مبدل HTML به Markdown سمت خودت نیست. کار بهصورت job انجام میشه: اول URL رو ثبت میکنی و بعد اونقدر وضعیت رو چک میکنی تا state به completed برسه.
const job = await api.extract.create({
url: "https://example.com/blog/transformer-architecture",
});
console.log(job.id); // extraction job id
console.log(job.state); // "pending"این تیکه از SDK نود جیاس نشون میده ثبت یه URL فقط یه فراخوانیه و یه شناسهٔ job برمیگردونه. اگه نخوای poll کنی، میتونی webhook رو با webhookFormat: "markdown" تنظیم کنی تا وقتی کار تموم شد، Markdown مستقیم به سرورت POST بشه.
به گفتهٔ Exabase، Markdown کمتوکنترین فرمت برای context یه LLM هست و برای همین این خروجی برای RAG (یعنی وقتی مدل قبل از جواب دادن، متنهای مرتبط رو بازیابی میکنه) و ایجنتهای تحقیقاتی مناسبه. پارامتر Markdown فقط مخصوص وب نیست: برای PDF متن و متادیتا، برای صوت و ویدیو رونوشت کامل و برای عکس متن OCR برمیگرده. خروجی JSON پیشفرض هم هنوز هست و Exabase پیشنهاد میده Markdown رو برای LLM و بررسی انسانی، و JSON رو برای پردازش ساختاریافته و ایندکس جستوجو استفاده کنی.
نکات کلیدی:
- endpoint: POST /v2/extract؛ برای خروجی Markdown پارامتر ?format=markdown رو بفرست
- صفحههای رندرشده با جاوااسکریپت هم پشتیبانی میشن، بدون مرورگر headless سمت تو
- webhook با webhookFormat: "markdown" نتیجه رو مستقیم POST میکنه
- همون API برای PDF، صوت، ویدیو و عکس (OCR) هم کار میکنه
- ثبتنام رایگانه و کارت اعتباری نمیخواد




