هزینه و ارزش واقعی ایجنت
هزینهٔ کامل هر اجرا را حساب کن (مدل، ابزار، داور، زیرساخت، بازبینی انسانی و خطا)، ارزش خالص و بازگشت سرمایه را با فرضهای صریح بسنج، ببین چرا بازبینی انسانی معمولاً از توکن گرانتر است و تصمیم بگیر کی ایجنت میارزد و کی ورکفلوی قطعی.
بعد از این درس میتوانی
- هزینهٔ کامل هر اجرا را با فرمول حساب کند و نرخ واقعی را از فرضی جدا نگه دارد.
- ارزش خالص هر اجرا و دورهٔ بازگشت هزینهٔ ساخت را محاسبه کند.
- سهم بازبینی انسانی و خطا را در هزینه ببیند و راه کاهش هر قلم را پیشنهاد دهد.
- با معیار روشن بین ایجنت و ورکفلوی قطعی انتخاب کند و آمار بازار را با قید خودش بخواند.
چرا این درس مهم است
صاحب یک کسبوکار کوچک حساب کرد: هر اجرای ایجنت گزارش فقط ۳ سنت توکن میخورد، پس «تقریباً مجانی است». شش ماه بعد معلوم شد هر گزارش را یک نفر ده دقیقه بازبینی و اصلاح میکند، و ماهی یک بار یک عدد غلط به مشتری رسیده.
هزینهٔ توکن معمولاً کوچکترین قلم است. Gartner پیشبینی کرده بیش از ۴۰٪ پروژههای ایجنتی تا پایان ۲۰۲۷ لغو میشوند و یکی از دلایلش را هزینهٔ رو به افزایش و ارزش نامشخص میداندsrc-gartner-agentic-2025. این پیشبینی است، نه نتیجهٔ اندازهگیریشده؛ ولی هشدارش روشن است: ارزش را باید حساب کرد، نه حس.
مفاهیم کلیدی
یادآوری: توکن، تعرفه و انتخاب مدل بر اساس هزینه و سرعت در «هزینه، تأخیر و انتخاب مدل» آمدهاند؛ انتخاب بین دستیار، ورکفلو و ایجنت در «انتخاب ابزار درست». اینجا هزینهٔ کامل و تصمیم ارزش.
- Model Cost:
(توکن ورودی × نرخ ورودی + توکن خروجی × نرخ خروجی) / ۱٬۰۰۰٬۰۰۰. نرخ از صفحهٔ قیمت یا صورتحساب همان سرویس در همان تاریخ؛ قیمت API با اشتراک چت یکی نیست. - Total Cost per Run: مدل + ابزارهای پولی + داور مدل + سهم زیرساخت + (دقیقهٔ بازبینی ÷ ۶۰ × دستمزد ساعتی) + ذخیرهٔ خطا.
- Net Value per Run:
(دقیقهٔ کار دستی − دقیقهٔ انسانی با ایجنت) ÷ ۶۰ × دستمزد − هزینهٔ کامل. - ROI: ارزش خالص ÷ هزینهٔ کامل؛ فقط با تعریف روشن هزینهٔ ساخت، دوره و نرخ خطا معنا دارد.
- Payback (بازگشت هزینهٔ ساخت): هزینهٔ ساخت ÷ ارزش خالص ماهانه.
- Cost per Success: هزینهٔ کل ÷ تعداد اجراهای PASS؛ اجرای خراب هم هزینه دارد.
- فرضی در برابر واقعی: هر عددی که از صورتحساب نیامده، برچسب «فرضی» میگیرد.
مدل ذهنی
ایجنت را مثل استخدام یک کارآموز حساب کن. حقوقش (توکن) کم است. ولی وقت سرپرست برای چککردن کارش، اشتباهاتی که به مشتری میرسد، و وقتی که صرف آموزشش شد (ساخت) هم هزینهاند. کارآموز وقتی میارزد که بعد از همهٔ اینها، وقت آزادشده بیشتر باشد.
این تشبیه کجا غلط است؟ کارآموز با زمان بهتر میشود و کمتر چک لازم دارد. ایجنت خودبهخود یاد نمیگیرد؛ کمتر شدن بازبینی فقط با آزمون، اصلاح و شواهد پایش اتفاق میافتد، و با هر تغییر مدل ممکن است برگردد.
گامبهگام
گام ۱: همهٔ قلمها را بنویس (اعداد ساختگی)
| قلم | مقدار فرضی | هزینهٔ هر اجرا (USD، ساختگی) |
|---|---|---|
| مدل | ۲۰٬۰۰۰ توکن ورودی × ۱ دلار در میلیون + ۳٬۰۰۰ توکن خروجی × ۴ دلار در میلیون | 0.032 |
| ابزار پولی | یک جستوجوی API | 0.010 |
| داور مدل | یک داوری کوتاه | 0.008 |
| زیرساخت تخصیصیافته | سهم این اجرا از هزینهٔ ماهانه | 0.010 |
| بازبینی انسانی | ۴ دقیقه × ۶ دلار در ساعت | 0.400 |
| ذخیرهٔ خطا | برآورد هزینهٔ خطاهای جاافتاده | 0.050 |
| جمع | 0.510 |
مدل ۰٫۰۳۲ دلار است؛ بازبینی انسانی ۰٫۴۰. یعنی بازبینی ۱۲ برابر مدل است. اگر فقط توکن را حساب میکردی، هزینه را ۱۶ برابر کمتر از واقعیت میدیدی.
گام ۲: ارزش خالص
کار دستی ۲۵ دقیقه؛ با ایجنت ۴ دقیقه بازبینی. دستمزد ۶ دلار در ساعت (فرضی). ارزش وقت آزادشده: (۲۵ − ۴) ÷ ۶۰ × ۶ = ۲٫۱۰ دلار. ارزش خالص هر اجرا = ۲٫۱۰ − ۰٫۵۱ = ۱٫۵۹ دلار. ROI = ۱٫۵۹ ÷ ۰٫۵۱ ≈ ۳٫۱.
گام ۳: هزینهٔ ساخت و بازگشت
فرض: ساخت و آزمون ۳۰۰ دلار، ماهی ۴۰ اجرا. ارزش خالص ماهانه ۴۰ × ۱٫۵۹ = ۶۳٫۶ دلار ⟵ بازگشت حدود ۴٫۷ ماه. حالا دو حساسیت را امتحان کن:
| اگر… | ارزش خالص ماهانه | بازگشت |
|---|---|---|
| بازبینی ۱۰ دقیقه شود | ۴۰ × (۱۵÷۶۰×۶ − ۱٫۱۱) = ۱۵٫۶ | حدود ۱۹ ماه |
| فقط ۱۰ اجرا در ماه | ۱۵٫۹ | حدود ۱۹ ماه |
| ۱۰٪ اجراها FAIL و دوباره دستی | حدود ۵۴ | حدود ۵٫۶ ماه |
با ۱۰ دقیقه بازبینی، هزینهٔ بازبینی در هر اجرا ۱٫۰۰ و کل ۱٫۱۱ دلار میشود. نتیجه: دقیقههای بازبینی و تعداد اجرا معمولاً بیش از قیمت مدل تعیین میکنند ایجنت میارزد یا نه.
گام ۴: ایجنت یا ورکفلوی قطعی؟
Anthropic پیشنهاد میکند با سادهترین راهحل شروع کنی و پیچیدگی را فقط با نیاز ثابتشده اضافه کنیsrc-anthropic-effective-agents (توصیهٔ یک سازندهٔ مدل، نه تضمین اقتصادی).
| ورکفلوی قطعی | ایجنت |
|---|---|
| مراحل ثابت و قواعد روشن | مسیر از پیش قابل تعیین نیست |
| خروجی باید کاملاً قطعی باشد | خطا قابل کنترل و قابل آزمون است |
| حجم بالا، هزینهٔ هر اجرا مهم | صرفهجویی خالص بعد از بازبینی مثبت است |
گام ۵: آمار بازار را با قیدش بخوان
| ادعا | منبع | قید |
|---|---|---|
| بیش از ۴۰٪ پروژههای ایجنتی تا پایان ۲۰۲۷ لغو میشوند | Gartner، ۲۵ ژوئن ۲۰۲۵src-gartner-agentic-2025 | پیشبینی است، نه رخداد |
| ۱۹٪ سرمایهگذاری قابل توجه، ۴۲٪ محافظهکارانه | همان منبع | نظرسنجی ۳٬۴۱۲ شرکتکنندهٔ یک وبینار؛ نمایندهٔ همه نیست |
| ۴۰٪ پاسخدهندگان شرکتهای بزرگ ایجنت را در مقیاس اجرا میکنند؛ شرکتهای کوچکتر ۲۲٪ | McKinsey، اوت ۲۰۲۶src-mckinsey-2026 | شرکت بزرگ = درآمد بالای ۱ میلیارد دلار؛ پاسخدهندگان نظرسنجی |
هیچکدام از این عددها دربارهٔ کسبوکار تو چیزی نمیگوید. حساب خودت با دادههای خودت، تنها عددی است که تصمیم را میسازد.
مثالها
دو ایجنت، یک تیم (ساختگی):
| ایجنت گزارش هفتگی | ایجنت پاسخ ایمیل مشتری | |
|---|---|---|
| اجرا در ماه | ۴ | ۶۰۰ |
| بازبینی هر اجرا | ۱۵ دقیقه | ۱ دقیقه |
| صرفهجویی هر اجرا | ۴۵ دقیقه | ۴ دقیقه |
| نتیجه | خوب ولی بازگشت ساخت کند؛ شاید ورکفلوی قطعی کافی باشد | ارزش بالا بهخاطر حجم؛ ولی نرخ خطا و هزینهٔ هر خطا باید پایش شود |
پیادهسازی
- در کاربرگ
Runsکارپوشه ستونهای نرخ ورودی و خروجی خالیاند و هزینه UNKNOWN است. یک نرخ فرضی وارد کن و کنار سرستون بنویس «فرضی». - ستونهای
Review_MinوReview_Wage_USD_hرا پر کن و ببینTotal_Cost_USDچطور تغییر میکند. - برای ایجنت خودت جدول گام ۱ را بساز: هر قلم با منبع عدد (صورتحساب، صفحهٔ قیمت با تاریخ، یا «فرضی»).
- ارزش خالص، هزینهٔ ساخت و بازگشت را حساب کن.
- دو حساسیت را امتحان کن: بازبینی دو برابر، و تعداد اجرا نصف. هنوز میارزد؟
اشتباههای رایج
| اشتباه | نتیجه | کار درست |
|---|---|---|
| فقط حساب توکن | هزینه چندین برابر کمتر دیده میشود | همهٔ شش قلم |
| قیمت اشتراک چت بهجای API | عدد بیربط | نرخ API همان سرویس و تاریخ |
| نرخ فرضی بدون برچسب | تصمیم روی عدد ساختگی | برچسب «فرضی» یا صورتحساب |
| فراموشی هزینهٔ ساخت و نگهداری | ROI متورم | بازگشت هزینهٔ ساخت |
| نادیدهگرفتن اجراهای خراب | Cost per Success کمتر از واقع | هزینهٔ کل ÷ PASS |
| آمار تحلیلگر بهجای حساب خود | تصمیم کلی برای کار خاص | دادهٔ خود؛ آمار فقط زمینه |
| فرض «تصاعدی» یا «ثابت» برای رشد هزینه | پیشبینی غلط | مدل پارامتری با دادهٔ پایش |
عیبیابی
صورتحساب ماهانه دو برابر برآورد است.
تلاشهای دوباره، اجراهای خراب، داور مدل یا کانتکست بزرگتر از فرض.
هزینه را بر اساس Run_ID از ردپا جمع بزن و بزرگترین اجراها را ببین.
Per_Run_Budget و Max_Retries بگذار؛ کانتکست را کوچک کن؛ داوری مدل را نمونهای کن.
بعد از یک ماه، دقیقههای بازبینی کم نشده.
خروجیها هنوز به اصلاح نیاز دارند یا اعتماد ساخته نشده.
دفتر اصلاحات را ببین: کدام بخشها همیشه اصلاح میشوند؟
همان بخش را با آزمون و اصلاح دستور یا ورکفلوی قطعی درست کن؛ تا آن موقع ارزش خالص را با همین دقیقهها حساب کن.
تعرفهٔ مدل عوض شد.
تغییر قیمت سرویس.
صفحهٔ قیمت با تاریخ.
نرخ را با تاریخ بهروز کن و حساب را دوباره اجرا کن؛ اگر مدل را عوض میکنی، رگرسیون (درس اول) هم لازم است.
تمرین کوتاه
تمرین · 8 دقیقه
داده (ساختگی): هزینهٔ مدل هر اجرا ۰٫۰۵ دلار؛ بازبینی ۶ دقیقه با دستمزد ۸ دلار در ساعت؛ بقیهٔ قلمها ۰٫۰۵ دلار؛ کار دستی ۲۰ دقیقه.
گامها: هزینهٔ کامل، ارزش خالص و ROI هر اجرا را حساب کن. بزرگترین قلم کدام است؟
راهحل نمونه
- بازبینی: ۶ ÷ ۶۰ × ۸ = ۰٫۸۰؛ کامل: ۰٫۰۵ + ۰٫۸۰ + ۰٫۰۵ = ۰٫۹۰ دلار.
- ارزش وقت: (۲۰ − ۶) ÷ ۶۰ × ۸ ≈ ۱٫۸۷؛ ارزش خالص ≈ ۰٫۹۷ دلار؛ ROI ≈ ۱٫۰۷.
- بزرگترین قلم بازبینی انسانی است، ۱۶ برابر مدل.
چالش: پروندهٔ ارزش ایجنت خودت
تمرین · 30 دقیقه
تحویل:
- جدول هزینهٔ کامل هر اجرا با منبع هر عدد (صورتحساب، صفحهٔ قیمت با تاریخ، یا «فرضی»).
- ارزش خالص، ROI، هزینهٔ ساخت و بازگشت.
- دو حساسیت و نتیجهشان.
- تصمیم: ایجنت، ورکفلوی قطعی یا ترکیب، با دلیل بر اساس جدول گام ۴.
معیار پذیرش:
- هر شش قلم حاضر است یا دلیل نبودنش نوشته شده.
- هیچ عدد فرضی بدون برچسب نیست.
- هزینهٔ اجراهای خراب در Cost per Success آمده.
- تصمیم با عدد پشتیبانی میشود، نه با آمار بازار.
خودسنجی
جمعبندی
- هزینهٔ کامل = مدل + ابزار + داور + زیرساخت + بازبینی انسانی + خطا.
- بازبینی انسانی معمولاً از توکن گرانتر است؛ اول آن را کم کن.
- ارزش خالص و بازگشت هزینهٔ ساخت، نه فقط ROI لحظهای.
- عدد فرضی برچسب دارد؛ نرخ API با تاریخ.
- مسیر ثابت و نیاز به قطعیت ⟵ ورکفلوی قطعی؛ ایجنت فقط با صرفهجویی خالص ثابتشده.
- آمار بازار زمینه است؛ تصمیم با دادهٔ خودت.
پرسشهای سنجش
در حساب یک ایجنت، هزینهٔ مدل هر اجرا ۰٫۰۲ دلار و بازبینی انسانی ۰٫۵۰ دلار است. اولویت کاهش هزینه چیست؟
- مدل ارزانتر
- کمکردن دقیقههای بازبینی با آزمون و اصلاح بخشهایی که همیشه اصلاح میشوند
- حذف کامل بازبینی
- هیچ؛ هزینه کم است
پاسخ نمونه و معیار ارزیابی
- a ← حتی صفر کردن هزینهٔ مدل فقط ۴٪ صرفهجویی میدهد.
- c ← حذف بازبینی ریسک خطا را بالا میبرد؛ ذخیرهٔ خطا بزرگ میشود.
- d ← هزینه را باید با ارزش سنجید، نه با حس.
ایجنتی ماهی ۲۰ بار اجرا میشود، هر اجرا ۱ دلار ارزش خالص دارد و ساختش ۴۰۰ دلار هزینه داشته. ارزش ساختن دارد؟
پاسخ نمونه و معیار ارزیابی
بازگشت ۴۰۰ ÷ ۲۰ = ۲۰ ماه؛ بدون حساب نگهداری و تغییر مدل. احتمالاً نه، مگر حجم بالا برود یا ورکفلوی قطعی سادهتر و ارزانتر جایگزین شود. تصمیم به افق زمانی و هزینهٔ نگهداری بستگی دارد.
- محاسبهٔ بازگشت (1 امتیاز)
- در نظر گرفتن نگهداری و تغییر (1 امتیاز)
- گزینهٔ جایگزین (1 امتیاز)
برآورد ماهانه ۵۰ دلار بود؛ صورتحساب ۱۳۰ دلار آمد. سه علت محتمل و روش پیدا کردنشان؟
پاسخ نمونه و معیار ارزیابی
تلاشهای دوبارهٔ بیسقف، اجراهای خراب که هزینه داشتند، داور مدل روی همهٔ اجراها، یا کانتکست بزرگتر از فرض. هزینه را بر اساس Run_ID از ردپا جمع میزنم و اجراهای پرهزینه و تعداد تلاشها را بررسی میکنم.
- دستکم سه علت (1 امتیاز)
- جمع هزینه بر اساس Run_ID (1 امتیاز)
- کنترل پیشنهادی (1 امتیاز)
فرمول ارزش خالص هر اجرا را بنویس و با این اعداد حساب کن: کار دستی ۳۰ دقیقه، بازبینی ۵ دقیقه، دستمزد ۱۲ دلار در ساعت، هزینهٔ کامل ۱٫۲۰ دلار.
پاسخ نمونه و معیار ارزیابی
Net = (دستی − انسانی با ایجنت) ÷ ۶۰ × دستمزد − هزینهٔ کامل = (۳۰ − ۵) ÷ ۶۰ × ۱۲ − ۱٫۲۰ = ۵٫۰۰ − ۱٫۲۰ = ۳٫۸۰ دلار.
- فرمول درست (1 امتیاز)
- محاسبهٔ درست (1 امتیاز)
- واحدها (1 امتیاز)
مدیر میگوید: «Gartner گفته ۴۰٪ پروژههای ایجنتی لغو میشوند، پس ما نمیسازیم.» چه جوابی میدهی؟
پاسخ نمونه و معیار ارزیابی
آن عدد پیشبینی است، نه نتیجهٔ اندازهگیریشده، و دربارهٔ کار ما چیزی نمیگوید؛ دلایلش (هزینه، ارزش نامشخص، کنترل ریسک ضعیف) اتفاقاً همان چیزهایی است که با حساب هزینهٔ کامل، آزمون و پایش کنترل میکنیم. پیشنهاد: یک نسخهٔ کوچک با معیار ارزش روشن و نقطهٔ توقف.
- پیشبینی در برابر واقعیت (1 امتیاز)
- ربط دلایل به کنترلها (1 امتیاز)
- پیشنهاد آزمایش کوچک با معیار (1 امتیاز)
فایلهای درس
کارپوشهٔ ارزیابی ایجنت با ۹ مورد آزمون و ۱۱ اجرای ساختگی
agent-evals-workbook.xlsxابزارها و جایگزینها
- صفحهگسترده — کارپوشهٔ ارزیابی، دفتر رویداد و محاسبهٔ هزینه — Excel — Google Sheets — LibreOffice Calc
منابع
Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 Gartner Newsroom 2025-06-25
Building effective agents Anthropic (منبع ذینفع) 2024-12
The state of AI McKinsey (QuantumBlack) 2026-08-25