ارزیابی و قابلاطمینانکردن ایجنت
ایجنت را مثل یک محصول بسنج: نتیجه و مسیرش را آزمون کن، رفتارش را پایش کن، هزینهٔ واقعی و ارزشش را حساب کن، اختیارش را به کار محدود کن و در پایان پروندهٔ اطمینان یک ایجنت را تحویل بده.
آنچه یاد میگیری
- ارزیابی نتیجه و مسیر با دروازههای اجباری و رگرسیون
- دفتر ردپا، سقفها و کشف خرابی بیصدا
- هزینهٔ کامل هر اجرا، ارزش خالص و تصمیم ایجنت یا ورکفلوی قطعی
- ماتریس مجوز وابسته به اقدام و ریسکهای OWASP برای ایجنت
پیشنیاز
- ایجنتها: از مفهوم تا اولین ساخت
ابزارها
- صفحهگسترده
- ویرایشگر متن
- ارزیابی ایجنت: نتیجه، مسیر و رگرسیون
برای یک ایجنت چندمرحلهای مجموعه آزمون بساز که هم نتیجهٔ نهایی و هم مسیر (ابزارهای لازم و ممنوع، آرگومان، توقف) را بسنجد؛ داور قطعی را جلوی داور مدل و انسان بگذار، دروازههای اجباری را از میانگین نمره جدا کن و بعد از هر تغییر رگرسیون بگیر.
- پایش و قابلیت اطمینان ایجنت
برای ایجنت دفتر ردپا بساز (Trace و Span به زبان ساده)، پیش از اجرا سقف گام، تلاش و هزینه و توقف روی اقدام ممنوع بگذار، خرابی «بیصدا» را با چهار لایهٔ پایش بگیر و نرخها را بدون پنهانکردن موارد ارزیابینشده گزارش کن.
- هزینه و ارزش واقعی ایجنت
هزینهٔ کامل هر اجرا را حساب کن (مدل، ابزار، داور، زیرساخت، بازبینی انسانی و خطا)، ارزش خالص و بازگشت سرمایه را با فرضهای صریح بسنج، ببین چرا بازبینی انسانی معمولاً از توکن گرانتر است و تصمیم بگیر کی ایجنت میارزد و کی ورکفلوی قطعی.
- حاکمیت، مجوز و مرز اقدام ایجنت + پروژه
با فهرست OWASP Top 10 for Agentic Applications ریسکهای ایجنت خودت را مرور کن، ماتریس مجوز وابسته به اقدام بساز (خواندن، پیشنویس، نوشتن، ارسال، حذف و پرداخت)، کمترین اختیار را اعمال کن و در پایان پروندهٔ اطمینان کامل یک ایجنت را تحویل بده.