Extract API سرپ‌ای‌پی‌آی: هر صفحه وب رو JSON یا Markdown تحویل بگیر
هوش مصنوعی
سئوخلاصهٔ کامل‌تر
SerpApi که بیشتر با API نتایج گوگل و بینگ شناخته میشه، حالا یه موتور جدید به اسم Extract API داره. کارش ساده‌ست: آدرس یه صفحه عمومی رو بهش می‌دی و محتوای صفحه رو به شکل JSON ساختاریافته پس می‌گیری. اگه output=md بذاری، خروجی Markdown میشه که طبق مستندات برای LLMها و ایجنت‌های هوش مصنوعی بهینه شده. یعنی دیگه لازم نیست خودت HTML رو پارس کنی تا متن اصلی صفحه رو دربیاری.
سه حالت کاری داره که با پارامتر mode انتخاب میشه. حالت scrape (پیش‌فرض) فقط یه صفحه رو استخراج می‌کنه. حالت map لیست آدرس‌های سایت رو از لینک‌های صفحه و sitemap درمیاره. حالت crawl (یعنی دنبال کردن لینک‌های داخلی و استخراج هر صفحه‌ای که بهش می‌رسه) کل سایت رو می‌گرده. تو حالت crawl با max_pages (پیش‌فرض ۱۰، حداکثر ۱۰۰) و max_depth (پیش‌فرض ۲، حداکثر ۳) میشه دامنه گشتن رو محدود کرد.
خروجی JSON حالت scrape خیلی کامله: عنوان و زبان صفحه، meta tagها، Open Graph و JSON-LD، تیترها، لینک‌ها و تصاویر، جدول‌ها و لیست‌ها، فرم‌ها، قیمت محصولات و متن کامل. بخش‌های خالی حذف می‌شن. هر آیتمی که آدرس داره یه فیلد serpapi_extract_link هم داره که میشه مستقیم برای استخراج صفحه بعدی صداش زد. با include_tags و exclude_tags هم میشه با CSS selector فقط بخش‌های لازم رو نگه داشت یا منو و فوتر رو حذف کرد.
یه نکته مهم اینه که این API جاوااسکریپت اجرا نمی‌کنه، پس صفحه‌هایی که محتواشون سمت کلاینت ساخته میشه احتمالاً کامل درنمیان. پارامتر prefetch_delay هم برای همین تأخیر رندر نیست و فقط قبل از درخواست صبر می‌کنه. اگه آدرس یه صفحه جستجوی گوگل، بینگ، eBay یا Walmart رو بدی، خودکار به موتور اختصاصی همون سرویس ریدایرکت میشه.
هزینه هم مهمه: حالت crawl برای هر صفحه‌ای که موفق استخراج بشه یه کردیت کم می‌کنه، پس max_pages=10 می‌تونه تا ۱۰ کردیت خرج داشته باشه. صفحه‌های ناموفق و جواب‌های کش‌شده (که تا یه ساعت نگه داشته می‌شن) رایگانن. این API به robots.txt هم احترام می‌ذاره و اول دنبال قانون‌های user agent مخصوص serpapi می‌گرده. مثلاً با این دو خط یه سایت می‌تونه کاملاً جلوش رو بگیره، بدون اینکه بقیه کراولرها بسته بشن:
User-agent: serpapi
Disallow: /نکات کلیدی:
- آدرس API برابر هست و خروجی JSON، HTML (تا ۵ مگابایت) یا Markdown داره.
- سه حالت scrape، map و crawl با پارامتر mode انتخاب می‌شن.
- تو حالت crawl حداکثر ۱۰۰ صفحه و عمق ۳ مجازه و هر صفحه موفق یه کردیت هزینه داره.
- جاوااسکریپت اجرا نمی‌شه و timeout پیش‌فرض ۳۰ ثانیه‌ست.
- سایت‌ها می‌تونن با قانون مخصوص serpapi تو robots.txt جلوی این کراولر رو بگیرن.
