‏ساخت یه موتور خبرخوان شخصی با هوش مصنوعی

تو این مقاله اومده که یه AI content engine (یعنی یه سیستم خودکار شخصی که خبرها رو جمع و فیلتر می‌کنه) چطور کار می‌کنه. این سیستم از ده‌ها یا صدها منبع مثل RSS، کانال‌های یوتیوب، ساب‌ردیت‌ها، Hacker News، ریپوهای GitHub، changelog محصولات و دسته‌های مقاله‌های علمی خبر جمع می‌کنه و یه خلاصه‌ی روزانه‌ی کوتاه بهت می‌ده. به گفته‌ی نویسنده، ایده این نیست که «همه‌چی رو دنبال کن»، بلکه اینه که «همه‌چی رو بگیر، بعد بیشترشو قبل از اینکه به تو برسه دور بریز».

فیلتر کردن چهار مرحله داره و ترتیبش خیلی مهمه. اول جمع‌آوری داده‌ست که می‌تونه از API مستقیم، ابزار CLI، سرور MCP یا پلتفرمی مثل Apify باشه که خروجی تمیز markdown می‌ده. مرحله‌ی دوم deduplication هست، یعنی چک کردن یه دیتابیس مرکزی که چیز تکراری دوباره پردازش نشه. بعدش قانون‌های ساده‌ی کدی، پست‌های قدیمی یا کم‌بازدید رو حذف می‌کنن. تو این مرحله هنوز هیچ LLMی دخیل نیست.

مرحله‌ی سوم یه فیلتر سریع و ارزون با ابزاری به اسم Jev هست. این ابزار سه تا سؤال می‌پرسه: موضوع مرتبطه؟ کاربر واقعاً براش مهمه؟ چیز جدید و واقعیه یا یه دموی اسباب‌بازی و تکراری؟ Jev تصمیم‌های واضح رو همون‌جا می‌گیره. مرحله‌ی چهارم فقط برای موارد مبهمه که می‌رن سراغ یه LLM کامل مثل Claude Haiku. این مدل می‌تونه عمیق‌تر فکر کنه و با پروفایل علاقه‌های کاربر مقایسه کنه.

چرا همه‌چی رو مستقیم به LLM نمی‌دن؟ نویسنده می‌گه هر دو حالت رو تست کردن. فقط LLM گرون‌تر بود، چون برای هر پست یه درخواست جدا لازم بود. جالب‌تر اینکه وقتی Jev رو آخر زنجیره گذاشتن به‌جای اول، دقت کم شد: چیزای بی‌ربط بیشتری رد شدن و چیزای مهم بیشتری حذف شدن. درس کلیش اینه که کار رو تا جای ممکن به مرحله‌های ارزون و قطعی بسپاری و فقط برای موارد واقعاً سخت پول استدلال گرون رو بدی.

تو یه اجرای واقعی با 864 پست، فیلتر Jev حدود سه سنت و Claude Haiku حدود ۴۲ سنت خرج داشت، یعنی کل هزینه‌ی روزانه زیر نیم دلار. برای ساختنش یه skill منتشر شده (یعنی یه دستورالعمل ساختاریافته که یه ایجنت کدنویسی مثل Claude Code دنبالش می‌کنه). این skill اول ده تا پونزده دقیقه ازت درباره‌ی منابع و علاقه‌هات سؤال می‌پرسه، بعد سیستم رو مرحله به مرحله می‌سازه و هر مرحله رو تست می‌کنه. همه‌ی منابع هم تو یه فایل JSON نگه داشته می‌شن.

نویسنده می‌گه راه‌اندازیش وقت می‌بره و تنظیم دقیق فیلترها از اونم بیشتر. خود این سیستم بیشتر از شش ماه تنظیم شده تا به دقت فعلی برسه. ولی هزینه‌ی روزانه کمه و برای کسی که کارش به به‌روز بودن تو یه حوزه‌ی پرسرعت وابسته‌ست، کلی وقت صرفه‌جویی می‌کنه.

نکات کلیدی:

• فیلتر چهار مرحله داره: جمع‌آوری، deduplication و قانون‌های کدی، فیلتر سریع Jev، و در آخر LLM.
• تو اجرای ۸۶۴ پستی، Jev حدود ۳ سنت و Claude Haiku حدود ۴۲ سنت خرج داشت.
• استفاده از Jev به‌عنوان فیلتر آخر به‌جای اول، دقت رو پایین آورد.
• یه skill برای Claude Code هست که اول ۱۰ تا ۱۵ دقیقه مصاحبه می‌کنه و بعد سیستم رو مرحله‌ای می‌سازه.
• همه‌ی منابع و کوئری‌ها تو یه فایل JSON واحد مدیریت می‌شن.
• تنظیم دقت سیستم بیشتر از شش ماه طول کشیده.