The Real Cost and Value of an Agent

Compute the full cost per run (model, tools, judge, infrastructure, human review and errors), measure net value and ROI with explicit assumptions, see why human review usually costs more than tokens, and decide when an agent is worth it versus a deterministic workflow.

بعد از این درس می‌توانی

  • هزینهٔ کامل هر اجرا را با فرمول حساب کند و نرخ واقعی را از فرضی جدا نگه دارد.
  • ارزش خالص هر اجرا و دورهٔ بازگشت هزینهٔ ساخت را محاسبه کند.
  • سهم بازبینی انسانی و خطا را در هزینه ببیند و راه کاهش هر قلم را پیشنهاد دهد.
  • با معیار روشن بین ایجنت و ورک‌فلوی قطعی انتخاب کند و آمار بازار را با قید خودش بخواند.

چرا این درس مهم است

صاحب یک کسب‌وکار کوچک حساب کرد: هر اجرای ایجنت گزارش فقط ۳ سنت توکن می‌خورد، پس «تقریباً مجانی است». شش ماه بعد معلوم شد هر گزارش را یک نفر ده دقیقه بازبینی و اصلاح می‌کند، و ماهی یک بار یک عدد غلط به مشتری رسیده.

هزینهٔ توکن معمولاً کوچک‌ترین قلم است. Gartner پیش‌بینی کرده بیش از ۴۰٪ پروژه‌های ایجنتی تا پایان ۲۰۲۷ لغو می‌شوند و یکی از دلایلش را هزینهٔ رو به افزایش و ارزش نامشخص می‌داندsrc-gartner-agentic-2025. این پیش‌بینی است، نه نتیجهٔ اندازه‌گیری‌شده؛ ولی هشدارش روشن است: ارزش را باید حساب کرد، نه حس.

مفاهیم کلیدی

یادآوری: توکن، تعرفه و انتخاب مدل بر اساس هزینه و سرعت در «هزینه، تأخیر و انتخاب مدل» آمده‌اند؛ انتخاب بین دستیار، ورک‌فلو و ایجنت در «انتخاب ابزار درست». اینجا هزینهٔ کامل و تصمیم ارزش.

  • Model Cost: (توکن ورودی × نرخ ورودی + توکن خروجی × نرخ خروجی) / ۱٬۰۰۰٬۰۰۰. نرخ از صفحهٔ قیمت یا صورتحساب همان سرویس در همان تاریخ؛ قیمت API با اشتراک چت یکی نیست.
  • Total Cost per Run: مدل + ابزارهای پولی + داور مدل + سهم زیرساخت + (دقیقهٔ بازبینی ÷ ۶۰ × دستمزد ساعتی) + ذخیرهٔ خطا.
  • Net Value per Run: (دقیقهٔ کار دستی − دقیقهٔ انسانی با ایجنت) ÷ ۶۰ × دستمزد − هزینهٔ کامل.
  • ROI: ارزش خالص ÷ هزینهٔ کامل؛ فقط با تعریف روشن هزینهٔ ساخت، دوره و نرخ خطا معنا دارد.
  • Payback (بازگشت هزینهٔ ساخت): هزینهٔ ساخت ÷ ارزش خالص ماهانه.
  • Cost per Success: هزینهٔ کل ÷ تعداد اجراهای PASS؛ اجرای خراب هم هزینه دارد.
  • فرضی در برابر واقعی: هر عددی که از صورتحساب نیامده، برچسب «فرضی» می‌گیرد.

مدل ذهنی

ایجنت را مثل استخدام یک کارآموز حساب کن. حقوقش (توکن) کم است. ولی وقت سرپرست برای چک‌کردن کارش، اشتباهاتی که به مشتری می‌رسد، و وقتی که صرف آموزشش شد (ساخت) هم هزینه‌اند. کارآموز وقتی می‌ارزد که بعد از همهٔ این‌ها، وقت آزادشده بیشتر باشد.

این تشبیه کجا غلط است؟ کارآموز با زمان بهتر می‌شود و کمتر چک لازم دارد. ایجنت خودبه‌خود یاد نمی‌گیرد؛ کمتر شدن بازبینی فقط با آزمون، اصلاح و شواهد پایش اتفاق می‌افتد، و با هر تغییر مدل ممکن است برگردد.

گام‌به‌گام

گام ۱: همهٔ قلم‌ها را بنویس (اعداد ساختگی)

قلممقدار فرضیهزینهٔ هر اجرا (USD، ساختگی)
مدل۲۰٬۰۰۰ توکن ورودی × ۱ دلار در میلیون + ۳٬۰۰۰ توکن خروجی × ۴ دلار در میلیون0.032
ابزار پولییک جست‌وجوی API0.010
داور مدلیک داوری کوتاه0.008
زیرساخت تخصیص‌یافتهسهم این اجرا از هزینهٔ ماهانه0.010
بازبینی انسانی۴ دقیقه × ۶ دلار در ساعت0.400
ذخیرهٔ خطابرآورد هزینهٔ خطاهای جاافتاده0.050
جمع0.510

مدل ۰٫۰۳۲ دلار است؛ بازبینی انسانی ۰٫۴۰. یعنی بازبینی ۱۲ برابر مدل است. اگر فقط توکن را حساب می‌کردی، هزینه را ۱۶ برابر کمتر از واقعیت می‌دیدی.

گام ۲: ارزش خالص

کار دستی ۲۵ دقیقه؛ با ایجنت ۴ دقیقه بازبینی. دستمزد ۶ دلار در ساعت (فرضی). ارزش وقت آزادشده: (۲۵ − ۴) ÷ ۶۰ × ۶ = ۲٫۱۰ دلار. ارزش خالص هر اجرا = ۲٫۱۰ − ۰٫۵۱ = ۱٫۵۹ دلار. ROI = ۱٫۵۹ ÷ ۰٫۵۱ ≈ ۳٫۱.

گام ۳: هزینهٔ ساخت و بازگشت

فرض: ساخت و آزمون ۳۰۰ دلار، ماهی ۴۰ اجرا. ارزش خالص ماهانه ۴۰ × ۱٫۵۹ = ۶۳٫۶ دلار ⟵ بازگشت حدود ۴٫۷ ماه. حالا دو حساسیت را امتحان کن:

اگر…ارزش خالص ماهانهبازگشت
بازبینی ۱۰ دقیقه شود۴۰ × (۱۵÷۶۰×۶ − ۱٫۱۱) = ۱۵٫۶حدود ۱۹ ماه
فقط ۱۰ اجرا در ماه۱۵٫۹حدود ۱۹ ماه
۱۰٪ اجراها FAIL و دوباره دستیحدود ۵۴حدود ۵٫۶ ماه

با ۱۰ دقیقه بازبینی، هزینهٔ بازبینی در هر اجرا ۱٫۰۰ و کل ۱٫۱۱ دلار می‌شود. نتیجه: دقیقه‌های بازبینی و تعداد اجرا معمولاً بیش از قیمت مدل تعیین می‌کنند ایجنت می‌ارزد یا نه.

گام ۴: ایجنت یا ورک‌فلوی قطعی؟

Anthropic پیشنهاد می‌کند با ساده‌ترین راه‌حل شروع کنی و پیچیدگی را فقط با نیاز ثابت‌شده اضافه کنیsrc-anthropic-effective-agents (توصیهٔ یک سازندهٔ مدل، نه تضمین اقتصادی).

ورک‌فلوی قطعیایجنت
مراحل ثابت و قواعد روشنمسیر از پیش قابل تعیین نیست
خروجی باید کاملاً قطعی باشدخطا قابل کنترل و قابل آزمون است
حجم بالا، هزینهٔ هر اجرا مهمصرفه‌جویی خالص بعد از بازبینی مثبت است

گام ۵: آمار بازار را با قیدش بخوان

ادعامنبعقید
بیش از ۴۰٪ پروژه‌های ایجنتی تا پایان ۲۰۲۷ لغو می‌شوندGartner، ۲۵ ژوئن ۲۰۲۵src-gartner-agentic-2025پیش‌بینی است، نه رخداد
۱۹٪ سرمایه‌گذاری قابل توجه، ۴۲٪ محافظه‌کارانههمان منبعنظرسنجی ۳٬۴۱۲ شرکت‌کنندهٔ یک وبینار؛ نمایندهٔ همه نیست
۴۰٪ پاسخ‌دهندگان شرکت‌های بزرگ ایجنت را در مقیاس اجرا می‌کنند؛ شرکت‌های کوچک‌تر ۲۲٪McKinsey، اوت ۲۰۲۶src-mckinsey-2026شرکت بزرگ = درآمد بالای ۱ میلیارد دلار؛ پاسخ‌دهندگان نظرسنجی

هیچ‌کدام از این عددها دربارهٔ کسب‌وکار تو چیزی نمی‌گوید. حساب خودت با داده‌های خودت، تنها عددی است که تصمیم را می‌سازد.

مثال‌ها

دو ایجنت، یک تیم (ساختگی):

ایجنت گزارش هفتگیایجنت پاسخ ایمیل مشتری
اجرا در ماه۴۶۰۰
بازبینی هر اجرا۱۵ دقیقه۱ دقیقه
صرفه‌جویی هر اجرا۴۵ دقیقه۴ دقیقه
نتیجهخوب ولی بازگشت ساخت کند؛ شاید ورک‌فلوی قطعی کافی باشدارزش بالا به‌خاطر حجم؛ ولی نرخ خطا و هزینهٔ هر خطا باید پایش شود

پیاده‌سازی

  1. در کاربرگ Runs کارپوشه ستون‌های نرخ ورودی و خروجی خالی‌اند و هزینه UNKNOWN است. یک نرخ فرضی وارد کن و کنار سرستون بنویس «فرضی».
  2. ستون‌های Review_Min و Review_Wage_USD_h را پر کن و ببین Total_Cost_USD چطور تغییر می‌کند.
  3. برای ایجنت خودت جدول گام ۱ را بساز: هر قلم با منبع عدد (صورتحساب، صفحهٔ قیمت با تاریخ، یا «فرضی»).
  4. ارزش خالص، هزینهٔ ساخت و بازگشت را حساب کن.
  5. دو حساسیت را امتحان کن: بازبینی دو برابر، و تعداد اجرا نصف. هنوز می‌ارزد؟

اشتباه‌های رایج

اشتباهنتیجهکار درست
فقط حساب توکنهزینه چندین برابر کمتر دیده می‌شودهمهٔ شش قلم
قیمت اشتراک چت به‌جای APIعدد بی‌ربطنرخ API همان سرویس و تاریخ
نرخ فرضی بدون برچسبتصمیم روی عدد ساختگیبرچسب «فرضی» یا صورتحساب
فراموشی هزینهٔ ساخت و نگهداریROI متورمبازگشت هزینهٔ ساخت
نادیده‌گرفتن اجراهای خرابCost per Success کمتر از واقعهزینهٔ کل ÷ PASS
آمار تحلیلگر به‌جای حساب خودتصمیم کلی برای کار خاصدادهٔ خود؛ آمار فقط زمینه
فرض «تصاعدی» یا «ثابت» برای رشد هزینهپیش‌بینی غلطمدل پارامتری با دادهٔ پایش

عیب‌یابی

صورتحساب ماهانه دو برابر برآورد است.

تلاش‌های دوباره، اجراهای خراب، داور مدل یا کانتکست بزرگ‌تر از فرض.

هزینه را بر اساس Run_ID از ردپا جمع بزن و بزرگ‌ترین اجراها را ببین.

Per_Run_Budget و Max_Retries بگذار؛ کانتکست را کوچک کن؛ داوری مدل را نمونه‌ای کن.

بعد از یک ماه، دقیقه‌های بازبینی کم نشده.

خروجی‌ها هنوز به اصلاح نیاز دارند یا اعتماد ساخته نشده.

دفتر اصلاحات را ببین: کدام بخش‌ها همیشه اصلاح می‌شوند؟

همان بخش را با آزمون و اصلاح دستور یا ورک‌فلوی قطعی درست کن؛ تا آن موقع ارزش خالص را با همین دقیقه‌ها حساب کن.

تعرفهٔ مدل عوض شد.

تغییر قیمت سرویس.

صفحهٔ قیمت با تاریخ.

نرخ را با تاریخ به‌روز کن و حساب را دوباره اجرا کن؛ اگر مدل را عوض می‌کنی، رگرسیون (درس اول) هم لازم است.

تمرین کوتاه

تمرین · 8 دقیقه

داده (ساختگی): هزینهٔ مدل هر اجرا ۰٫۰۵ دلار؛ بازبینی ۶ دقیقه با دستمزد ۸ دلار در ساعت؛ بقیهٔ قلم‌ها ۰٫۰۵ دلار؛ کار دستی ۲۰ دقیقه.

گام‌ها: هزینهٔ کامل، ارزش خالص و ROI هر اجرا را حساب کن. بزرگ‌ترین قلم کدام است؟

راه‌حل نمونه
  • بازبینی: ۶ ÷ ۶۰ × ۸ = ۰٫۸۰؛ کامل: ۰٫۰۵ + ۰٫۸۰ + ۰٫۰۵ = ۰٫۹۰ دلار.
  • ارزش وقت: (۲۰ − ۶) ÷ ۶۰ × ۸ ≈ ۱٫۸۷؛ ارزش خالص ≈ ۰٫۹۷ دلار؛ ROI ≈ ۱٫۰۷.
  • بزرگ‌ترین قلم بازبینی انسانی است، ۱۶ برابر مدل.

چالش: پروندهٔ ارزش ایجنت خودت

تمرین · 30 دقیقه

تحویل:

  1. جدول هزینهٔ کامل هر اجرا با منبع هر عدد (صورتحساب، صفحهٔ قیمت با تاریخ، یا «فرضی»).
  2. ارزش خالص، ROI، هزینهٔ ساخت و بازگشت.
  3. دو حساسیت و نتیجه‌شان.
  4. تصمیم: ایجنت، ورک‌فلوی قطعی یا ترکیب، با دلیل بر اساس جدول گام ۴.

معیار پذیرش:

  • هر شش قلم حاضر است یا دلیل نبودنش نوشته شده.
  • هیچ عدد فرضی بدون برچسب نیست.
  • هزینهٔ اجراهای خراب در Cost per Success آمده.
  • تصمیم با عدد پشتیبانی می‌شود، نه با آمار بازار.

خودسنجی

جمع‌بندی

  • هزینهٔ کامل = مدل + ابزار + داور + زیرساخت + بازبینی انسانی + خطا.
  • بازبینی انسانی معمولاً از توکن گران‌تر است؛ اول آن را کم کن.
  • ارزش خالص و بازگشت هزینهٔ ساخت، نه فقط ROI لحظه‌ای.
  • عدد فرضی برچسب دارد؛ نرخ API با تاریخ.
  • مسیر ثابت و نیاز به قطعیت ⟵ ورک‌فلوی قطعی؛ ایجنت فقط با صرفه‌جویی خالص ثابت‌شده.
  • آمار بازار زمینه است؛ تصمیم با دادهٔ خودت.

پرسش‌های سنجش

در حساب یک ایجنت، هزینهٔ مدل هر اجرا ۰٫۰۲ دلار و بازبینی انسانی ۰٫۵۰ دلار است. اولویت کاهش هزینه چیست؟

  • مدل ارزان‌تر
  • کم‌کردن دقیقه‌های بازبینی با آزمون و اصلاح بخش‌هایی که همیشه اصلاح می‌شوند
  • حذف کامل بازبینی
  • هیچ؛ هزینه کم است
پاسخ نمونه و معیار ارزیابی
  • a ← حتی صفر کردن هزینهٔ مدل فقط ۴٪ صرفه‌جویی می‌دهد.
  • c ← حذف بازبینی ریسک خطا را بالا می‌برد؛ ذخیرهٔ خطا بزرگ می‌شود.
  • d ← هزینه را باید با ارزش سنجید، نه با حس.

ایجنتی ماهی ۲۰ بار اجرا می‌شود، هر اجرا ۱ دلار ارزش خالص دارد و ساختش ۴۰۰ دلار هزینه داشته. ارزش ساختن دارد؟

پاسخ نمونه و معیار ارزیابی

بازگشت ۴۰۰ ÷ ۲۰ = ۲۰ ماه؛ بدون حساب نگهداری و تغییر مدل. احتمالاً نه، مگر حجم بالا برود یا ورک‌فلوی قطعی ساده‌تر و ارزان‌تر جایگزین شود. تصمیم به افق زمانی و هزینهٔ نگهداری بستگی دارد.

  • محاسبهٔ بازگشت (1 امتیاز)
  • در نظر گرفتن نگهداری و تغییر (1 امتیاز)
  • گزینهٔ جایگزین (1 امتیاز)

    برآورد ماهانه ۵۰ دلار بود؛ صورتحساب ۱۳۰ دلار آمد. سه علت محتمل و روش پیدا کردنشان؟

    پاسخ نمونه و معیار ارزیابی

    تلاش‌های دوبارهٔ بی‌سقف، اجراهای خراب که هزینه داشتند، داور مدل روی همهٔ اجراها، یا کانتکست بزرگ‌تر از فرض. هزینه را بر اساس Run_ID از ردپا جمع می‌زنم و اجراهای پرهزینه و تعداد تلاش‌ها را بررسی می‌کنم.

    • دست‌کم سه علت (1 امتیاز)
    • جمع هزینه بر اساس Run_ID (1 امتیاز)
    • کنترل پیشنهادی (1 امتیاز)

      فرمول ارزش خالص هر اجرا را بنویس و با این اعداد حساب کن: کار دستی ۳۰ دقیقه، بازبینی ۵ دقیقه، دستمزد ۱۲ دلار در ساعت، هزینهٔ کامل ۱٫۲۰ دلار.

      پاسخ نمونه و معیار ارزیابی

      Net = (دستی − انسانی با ایجنت) ÷ ۶۰ × دستمزد − هزینهٔ کامل = (۳۰ − ۵) ÷ ۶۰ × ۱۲ − ۱٫۲۰ = ۵٫۰۰ − ۱٫۲۰ = ۳٫۸۰ دلار.

      • فرمول درست (1 امتیاز)
      • محاسبهٔ درست (1 امتیاز)
      • واحدها (1 امتیاز)

        مدیر می‌گوید: «Gartner گفته ۴۰٪ پروژه‌های ایجنتی لغو می‌شوند، پس ما نمی‌سازیم.» چه جوابی می‌دهی؟

        پاسخ نمونه و معیار ارزیابی

        آن عدد پیش‌بینی است، نه نتیجهٔ اندازه‌گیری‌شده، و دربارهٔ کار ما چیزی نمی‌گوید؛ دلایلش (هزینه، ارزش نامشخص، کنترل ریسک ضعیف) اتفاقاً همان چیزهایی است که با حساب هزینهٔ کامل، آزمون و پایش کنترل می‌کنیم. پیشنهاد: یک نسخهٔ کوچک با معیار ارزش روشن و نقطهٔ توقف.

        • پیش‌بینی در برابر واقعیت (1 امتیاز)
        • ربط دلایل به کنترل‌ها (1 امتیاز)
        • پیشنهاد آزمایش کوچک با معیار (1 امتیاز)

          فایل‌های درس

          کارپوشهٔ ارزیابی ایجنت با ۹ مورد آزمون و ۱۱ اجرای ساختگی

          agent-evals-workbook.xlsx

          ابزارها و جایگزین‌ها

          • صفحه‌گسترده — کارپوشهٔ ارزیابی، دفتر رویداد و محاسبهٔ هزینه — Excel — Google Sheets — LibreOffice Calc

          منابع

          Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 Gartner Newsroom 2025-06-25

          Building effective agents Anthropic (منبع ذی‌نفع) 2024-12

          The state of AI McKinsey (QuantumBlack) 2026-08-25

          Course

          Evaluating and Hardening Agents