‏من دیگه به مانیتور نگاه نمی‌کنم

نویسنده میگه چند ماهه که تا جایی که بشه سراغ رابط کاربری ایجنت‌های کدنویسی نمی‌ره و به‌جاش با یه ایجنت شخصی به اسم Jeff حرف می‌زنه تا کاراشو انجام بده؛ از پروژه‌های کاری گرفته تا چک کردن جای خالی تور تو recreation.gov وقتی داره رانندگی می‌کنه.

اون به «computer use» هم browser use رو می‌گه (کنترل DOM و ترافیک شبکه با یه اکستنشن) و هم computer use واقعی، یعنی گرفتن اسکرین‌شات و خوندن accessibility tree برای دیدن و کلیک کردن روی چیزا؛ در واقع دادن دسترسی کامل به یه محیط کامپیوتری و همهٔ اکانت‌ها به ایجنت.

خودش یه باکس ویندوز داره که از راه دور (RDP) بهش وصل می‌شه و چون ابزارای computer use داخلی Codex روش جواب نداده، open-browser-use و open-computer-use رو خودش نصب کرده؛ الان یه باکس لینوکس با دسکتاپ کامل هم داره. مثلاً وقتی ترنسکد ویدیو روی دستگاهش کند بوده، به‌جای راه‌اندازی دستی، فقط از ایجنت خواسته کارو به GPU باکس ویندوزش منتقل کنه.

نکتهٔ اصلی اینه که دیگه مستقیم Claude Code یا Codex رو تو هر باکس بالا نمی‌آره، بلکه یه ایجنت مرکزی (مثل Jeff) تصمیم می‌گیره کدوم باکس باید کارو انجام بده. اکستنشن مرورگر هم چون از قبل با اکانتای خودش لاگین کرده، کارای خسته‌کننده مثل راه‌اندازی Google Workspace CLI یا نصب یه اپ اسلک رو بدون دخالت اون انجام می‌ده.

نویسنده قبول می‌کنه که با دادن این‌همه دسترسی ریسک می‌کنه، ولی فعلاً باهاش کنار اومده و امیدواره با بهتر شدن مدل‌های open-weight این تراضی کمتر لازم بشه؛ تنها نگرانی که براش می‌مونه اینه که یه وقت ایجنت اشتباهی چیزی رو پاک نکنه. حرف اصلیش اینه که دیگه براش مهم نیست کار چجوری انجام می‌شه، فقط مهمه که انجام بشه.

از نظر فنی، open-browser-use یه اکستنشن Chrome MV3 به‌همراه یه native host نوشته‌شده با Go هست. open-codex-computer-use هم با تابع get_app_state یه اسکرین‌شات به‌همراه accessibility tree برمی‌گردونه؛ runtime ترجیح می‌ده روی یه element_index مشخص کلیک کنه و فقط وقتی tree اطلاعات کافی نداشته باشه، از مختصات تصویر استفاده می‌کنه. تو ویندوز این کار با UI Automation انجام می‌شه، و یه درگ هم سه مرحله داره: button-down، چند تا نقطهٔ حرکت میانی، و button-up.

نکات کلیدی:

• نویسنده کاراشو به یه ایجنت شخصی به اسم Jeff می‌سپاره که هم browser use و هم computer use بلده
• چون ابزار computer use داخلی Codex جواب نداده، از open-browser-use و open-codex-computer-use استفاده کرده
• open-codex-computer-use با get_app_state اسکرین‌شات و accessibility tree رو با هم برمی‌گردونه
• روی ویندوز کلیک و اسکرول از طریق UI Automation و پترن‌هایی مثل InvokePattern انجام می‌شه
• درگ با سه مرحلهٔ button-down، حرکت میانی، و button-up شبیه‌سازی می‌شه