General Hill-Climbing: تنها حلقه‌ی اصلی کار با هوش مصنوعی
هوش مصنوعیخلاصهٔ کامل‌تر
دنیل میسلر تو این پست می‌گه کار با هوش مصنوعی در اصل یه حلقه‌ی تکراری داره که اسمش رو General Hill-Climbing گذاشته (یعنی قدم‌به‌قدم بهتر کردن نتیجه تا رسیدن به هدف). اجزای این حلقه ساده‌ست: بدونی چی می‌خوای، بتونی بنویسیش، بتونی پیشرفت رو اندازه بگیری، کار رو انجام بدی و بعد دوباره اصلاح کنی. نکته‌ی «General» اینه که این روش فقط مال مهندسی نیست و به مدیریت محصول، فروش، مارکتینگ و طراحی هم می‌خوره.
قدم اول چیزیه که نویسنده بهش TELOS می‌گه، یعنی یه سند که وضعیت فعلی، وضعیت ایده‌آل، هدف‌ها، معیارها، مشکلات و پروژه‌ها رو یه جا جمع می‌کنه. اینجوری هم خودت، هم بقیه، هم سیستم‌های AI می‌فهمن کل مسیر به کدوم سمته.
قدم دوم، نوشتن خیلی دقیق وضعیت ایده‌آل برای یه کار مشخصه. میسلر معتقده بیشتر شکست‌های امروز AI مشکل اجرا نیستن؛ مشکل اینه که یا تصویر کاملی از خواسته‌مون ندادیم یا تصویرمون غلط و متناقض بوده.
اون سه لایه رو توضیح می‌ده: ایده‌ی توی ذهن ما (حقیقت اصلی)، چیزی که از اون ایده می‌نویسیم یا دیکته می‌کنیم، و در آخر چیزی که ساخته میشه. AI فقط به لایه‌ی دوم دسترسی داره، پس هر چی اونجا جا بیفته، تو نتیجه هم نیست. به گفته‌ی نویسنده حتی یک تا سه ساعت وقت گذاشتن روی سند Ideal State Artifact برای یه پروژه‌ی بزرگ زیاد نیست.
قدم سوم Evals هست، یعنی مجموعه‌ای از چک‌ها که بگن یه خروجی خوبه یا نه. مثلاً برای یه گزارش: همه‌ی اطلاعات درست باشن، داده‌ها از یه سال قدیمی‌تر نباشن، غلط املایی نداشته باشه. اگه گزارش فقط از ۴ تا از ۵ چک قبول بشه، دقیقاً می‌دونی کجا رو باید درست کنی. نویسنده انواع مختلفی رو هم اسم می‌بره: چک ساده‌ی کدی بدون AI، مقایسه‌ی دو خروجی توسط AI، مقایسه با جواب درست از قبل معلوم، امتیازدهی با rubric، اجرای واقعی کد برای دیدن اینکه کار می‌کنه یا نه، و ده بار اجرا کردن برای سنجیدن ثبات نتیجه.
میسلر Evals رو بعد از نوشتن وضعیت ایده‌آل، مهم‌ترین بخش کار با AI می‌دونه. قدم چهارم انجام کاره که حالا بیشترش رو خود AI بر اساس همون سند و همون Evals انجام می‌ده. قدم پنجم هم تکرار و آزمایشه: وضعیت ایده‌آل ثابت نیست و Evals هم باید عوض بشن. یه نشونه‌ی خوب برای آپدیت Evals اینه که خروجی از همه‌ی چک‌ها قبول شده ولی باز ازش خوشت نمیاد.
نکات کلیدی:
- حلقه‌ی اصلی: ایده، نوشتن، ساختن، سنجیدن، تکرار.
- به گفته‌ی نویسنده محدودیت اصلی AI امروز اجرا نیست، توضیح دقیق خواسته‌ست.
- AI فقط به چیزی که نوشتی دسترسی داره، نه به ذهنت.
- Evals می‌تونن از یه چک ساده‌ی کدی تا داور AI تنظیم‌شده با امتیازهای قبلی خودت باشن.
- اگه خروجی از همه‌ی Evals قبول شد ولی راضی نیستی، Evals ناقصن.
