‏فایرکراول: از وب داده‌ی تمیز برای مدل‌های هوش مصنوعی بگیر

فایرکراول (Firecrawl) یه ابزار متن‌باز و در عین حال سرویس ابریه که کارش اینه وب رو برای مصرف مدل‌های هوش مصنوعی آماده کنه. به گفته‌ی سازنده‌ها، به‌جای اینکه خودت با HTML خام و صفحات به‌هم‌ریخته کلنجار بری، این ابزار محتوا رو به مارک‌داون تمیز یا JSON ساختاریافته تبدیل می‌کنه که مستقیم می‌شه به یه ایجنت داد.

فایرکراول چند سرویس اصلی داره: Search که وب رو می‌گرده و کل محتوای نتایج رو برمی‌گردونه، Scrape که هر URL رو به مارک‌داون یا اسکرین‌شات و JSON تبدیل می‌کنه، و Crawl که کل یه سایت رو با یه درخواست می‌خزه. یه Map هم هست که سریع همه‌ی لینک‌های یه سایت رو در میاره.

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape('firecrawl.dev')

نکته‌ی جالب‌تر بخش Agent ـه؛ به گفته‌ی تیم، این همون نسل بعدی endpoint قبلی به اسم /extract ـه که دیگه لازم نیست URL رو از قبل بدونی. کافیه با یه پرامپت بگی چی می‌خوای تا خودش بگرده، بین صفحات بره و داده رو بیاره. دو تا مدل داره: spark-1-mini که پیش‌فرض و ارزون‌تره و spark-1-pro برای کارهای پیچیده‌تر و حساس‌تر.

result = app.agent(prompt="Find the founders of Firecrawl")
print(result.data)

طبق ادعای فایرکراول، این سرویس ۹۶٪ وب رو پوشش می‌ده، حتی صفحات سنگین جاوااسکریپتی، و میانگین تأخیرش (P95) حدود ۳.۴ ثانیه‌ست. کارهای دردسرساز مثل چرخش پروکسی، دور زدن محدودیت نرخ و مدیریت صفحاتی که جلوی ربات‌ها رو می‌گیرن، همه رو خودش انجام می‌ده تا تو درگیر تنظیماتش نشی.

برای وصل‌شدن به ایجنت‌ها هم راه راحتی گذاشته: با یه دستور می‌شه به کلاینت‌های MCP یا ابزارهایی مثل Claude Code وصلش کرد. SDK پایتون و Node.js هم داره که کارهای async مثل صف‌کشی (polling) رو خودشون هندل می‌کنن. کل پروژه متن‌بازه و نسخه‌ی میزبانی‌شده هم داره.

نکات کلیدی:

• فایرکراول وب رو به مارک‌داون تمیز یا JSON ساختاریافته برای مدل‌های هوش مصنوعی تبدیل می‌کنه
• سرویس‌های اصلیش: Search، Scrape، Crawl، Map و Batch Scrape
• بخش Agent با یه پرامپت خودش می‌گرده و داده رو بدون دونستن URL میاره
• چرخش پروکسی، محدودیت نرخ و صفحات جاوااسکریپتی رو خودش مدیریت می‌کنه
• متن‌بازه، SDK پایتون و Node.js داره و به MCP وصل می‌شه