Cost, Latency and Model Choice in Workflows

Compute real step cost from tokens, retries, human review and fixed cost, measure latency, and choose hosted or local models with numbers.

بعد از این درس می‌توانی

  • هزینه ماهانه یک گام مدل را با توکن ورودی و خروجی، نرخ تکرار، بازبینی انسانی و هزینه ثابت حساب کند.
  • تأخیر یک نقطه پایانی را با میانه و صدک ۹۵ اندازه بگیرد و با نیاز کاربر مقایسه کند.
  • بین مدل بزرگ، مدل کوچک و مدل محلی برای یک گام با معیار کیفیت، هزینه، تأخیر و داده انتخاب کند.
  • سه اهرم کاهش هزینه (ورودی کمتر، مدل کوچک‌تر برای گام ساده، پردازش دسته‌ای یا کش) را با اثرشان بشناسد.

چرا این درس مهم است

برگ سبز برای صرفه‌جویی، مدل طبقه‌بندی را با ارزان‌ترین مدل در دسترس عوض کرد؛ صورت‌حساب مدل یک‌چهارم شد. ماه بعد معلوم شد کارمندان پشتیبانی دو برابر وقت صرف اصلاح برچسب‌ها و پیش‌نویس‌ها می‌کنند، و هزینه آن وقت از کل صورت‌حساب مدل بیشتر بود. همکار دیگری مدل محلی را «رایگان» حساب کرد و کامپیوتری را که شب و روز روشن بود و پاسخ‌های بیست‌ثانیه‌ای می‌داد، در حساب نیاورد.

هزینه یک گام مدل فقط قیمت توکن نیست، و «سریع» و «کند» بدون عدد معنی ندارد. این درس هزینه کامل و تأخیر واقعی را اندازه می‌گیرد تا انتخاب مدل یک تصمیم مهندسی باشد.

مفاهیم کلیدی

یادآوری: توکن ورودی و خروجی، MTok و مدل محلی را در دوره FND-101، و محدودیت نرخ و تلاش دوباره را در دوره AUT-201 دیدی.

  • Total Cost of a Step (هزینه کامل گام): هزینه مدل به‌علاوه تکرارها، بازبینی انسانی و هزینه ثابت زیرساخت.
  • Latency (تأخیر): زمان از فرستادن درخواست تا گرفتن پاسخ.
  • p95 Latency (صدک ۹۵ تأخیر): تأخیری که ۹۵ درصد درخواست‌ها از آن سریع‌ترند؛ تجربه بدترین حالت‌های معمول.
  • Model Tiering (پله‌بندی مدل): استفاده از مدل کوچک برای گام ساده و مدل بزرگ فقط برای گام دشوار.
  • Batch Processing (پردازش دسته‌ای): فرستادن درخواست‌های غیرفوری به‌صورت دسته‌ای، معمولاً با قیمت کمتر و پاسخ دیرتر.
  • Prompt Caching (کش پرامپت): ذخیره بخش ثابت پرامپت نزد ارائه‌دهنده تا خواندن دوباره آن ارزان‌تر باشد.

مدل ذهنی

انتخاب مدل را مثل استخدام برای یک کار مشخص ببین. دستمزد ساعتی (قیمت توکن) فقط بخشی از هزینه است: کارمند کم‌تجربه ارزان است ولی سرپرست باید کارش را بیشتر اصلاح کند (بازبینی انسانی)؛ کارمند داخلی حقوق ثابت دارد حتی وقتی کاری نیست (هزینه ثابت مدل محلی)؛ و بعضی کارها فوری‌اند و بعضی تا فردا صبر می‌کنند (تأخیر و پردازش دسته‌ای).

اجزای هزینه کامل یک گام مدل: هزینه کامل برابر است با هزینه توکن ضرب در یک به‌علاوه نرخ تکرار، به‌علاوه هزینه ثابت زیرساخت، به‌علاوه زمان بازبینی انسانی؛ تأخیر جداگانه با میانه و صدک ۹۵ سنجیده می‌شود.

اجزای هزینه کامل یک گام مدل

این تشبیه کجا غلط است؟ کارمند ثابت با تجربه بهتر می‌شود؛ مدل در ورک‌فلو نه. و قیمت مدل‌ها برخلاف حقوق، با اعلام ارائه‌دهنده یک‌شبه عوض می‌شود؛ هر عدد قیمت در محاسبه تو باید تاریخ داشته باشد و در بازبینی دوره‌ای دوباره بررسی شود.

گام‌به‌گام

گام ۱: هزینه کامل را بنویس

برای یک گام مدل:

هزینه مدل   = تعداد فراخوانی ماهانه × (۱ + نرخ تکرار) × (توکن ورودی × قیمت ورودی + توکن خروجی × قیمت خروجی) / ۱٬۰۰۰٬۰۰۰
هزینه کامل = هزینه مدل + هزینه ثابت + (فراخوانی × دقیقه بازبینی / ۶۰ × نرخ ساعتی بازبین)

ارائه‌دهنده‌ها توکن ورودی و خروجی را جدا قیمت می‌گذارند و خروجی گران‌تر است؛ مثلاً در صفحه قیمت Claude در مهر ۱۴۰۵ (اکتبر ۲۰۲۶)، یکی از مدل‌ها ۲ دلار برای هر میلیون توکن ورودی و ۱۰ دلار برای خروجی بودsrc-claude-pricing. توکن را از usage پاسخ‌ها اندازه بگیر (پروژه ۲)، نه از حدس.

گام ۲: نتیجه نمونه را بخوان

assets/cost_compare.py روی assets/options-example.csv (قیمت‌ها و زمان‌ها نمونه‌اند، نه واقعی) این را می‌دهد:

گزینهمدلثابتبازبینیکل
میزبانی‌شده بزرگ۴٫۹۴۰۴۰۴۴٫۹۴
میزبانی‌شده کوچک۱٫۳۰۰۸۰۸۱٫۳۰
محلی کوچک۰۱۵۱۰۰۱۱۵

در این نمونه بازبینی انسانی بزرگ‌ترین هزینه است؛ مدل ارزان‌تر با خطای بیشتر، کل هزینه را بالا برد. این همیشه درست نیست؛ با عدد خودت حساب کن. ولی تقریباً همیشه بازبینی انسانی را باید در حساب آورد.

گام ۳: تأخیر را اندازه بگیر، نه حدس بزن

assets/measure_latency.py یک درخواست ثابت را N بار می‌فرستد و میانه و صدک ۹۵ را گزارش می‌کند. میانه تجربه معمول است؛ صدک ۹۵ تجربه بدترین حالت‌های معمول. برای چت‌بات، صدک ۹۵ مهم است (کاربر منتظر است)؛ برای گزارش شبانه، تقریباً هیچ‌کدام. مقاله Anthropic یادآوری می‌کند سامانه‌های ایجنتی معمولاً تأخیر و هزینه را با عملکرد بهتر معامله می‌کنندsrc-anthropic-building-effective-agents؛ هر گام مدل اضافه، تأخیر را جمع می‌زند.

گام ۴: انتخاب مدل برای هر گام

مستندات Claude برای انتخاب مدل توانایی، سرعت و هزینه را معیار می‌داند، و دو رویکرد پیشنهاد می‌کند: شروع با مدل کارآمد و ارتقا فقط در صورت نیاز، یا شروع با توانمندترین و کوچک کردن پس از سنجش؛ و تأکید می‌کند مجموعه ارزیابی خودت را بسازsrc-claude-choosing-model.

معیارپرسش
کیفیتدقت روی مجموعه آزمون خود تو، به‌ویژه موارد لبه و فارسی
هزینه کاملفرمول گام ۱
تأخیرصدک ۹۵ در برابر نیاز کاربر
دادهآیا این داده اجازه رفتن به سرویس بیرونی را دارد؟ (دوره FND-103)
دسترسیآیا سرویس از نظر قانونی و پایدار در دسترس است؟

مدل محلی وقتی منطقی است که داده نباید بیرون برود، سرویس میزبانی‌شده در دسترس قانونی نیست، یا حجم بالا و کار ساده است؛ ولی هزینه ثابت (سخت‌افزار با حافظه کافی؛ راهنمای Ollama برای مدل نمونه‌اش حدود ۸ گیگابایت حافظه گرافیکی یا یکپارچه را توصیه می‌کندsrc-ollama-quickstart)، نگهداری و معمولاً کیفیت کمتر مدل‌های کوچک را بشمار.

گام ۵: سه اهرم کاهش هزینه

  1. ورودی کمتر: پیام سیستمی کوتاه، فقط داده لازم، پنجره تاریخچه (درس سوم). کمترین ریسک، اغلب بیشترین اثر.
  2. پله‌بندی مدل: مدل کوچک برای طبقه‌بندی، مدل بزرگ فقط برای تولید دشوار؛ هر پله با مجموعه آزمون.
  3. دسته‌ای و کش: برای کار غیرفوری، پردازش دسته‌ای؛ برای بخش ثابت و طولانی پرامپت، کش. صفحه قیمت Claude تخفیف ۵۰ درصدی برای Batch API و قیمت کمتر برای خواندن از کش را ذکر می‌کند (نوشتن در کش گران‌تر است)src-claude-pricing. شرایط هر ارائه‌دهنده را از صفحه خودش بخوان.

و یک قاعده ایمنی: سقف بودجه. شمار فراخوانی و توکن را در لاگ نگه دار و برای عبور از سقف روزانه هشدار بگذار. یادت باشد درخواست ناموفق هم در سقف نرخ شمرده می‌شودsrc-openai-rate-limits؛ حلقه تکرار بی‌سقف، هزینه و محدودیت را با هم می‌سوزاند.

مثال‌ها

پیاده‌سازی عملی

محاسبه هزینه و اندازه‌گیری تأخیر. حدود ۲۲ دقیقه.

  1. python cost_compare.py options-example.csv را اجرا کن (یا در صفحه‌گسترده همان فرمول را بساز). نرخ تکرار گزینه کوچک را به ۰٫۰۳ و زمان بازبینی‌اش را به ۰٫۲ برسان: کدام برنده می‌شود؟
  2. یک ردیف برای گام واقعی خودت اضافه کن (اعداد از usage و نمونه‌برداری؛ قیمت از صفحه قیمت ارائه‌دهنده با تاریخ).
  3. تأخیر را اندازه بگیر (مسیرهای پایین) و جدول تصمیم گام ۴ را برای یک گام پر کن.
بدون اجرا / شبیه‌ساز

python measure_latency.py 20 با API آزمایشی (shared/barg-sabz-mock-api.py). عدد آن تأخیر یک سرور محلی بدون مدل است و فقط برای تمرین روش است؛ تأخیر هیچ مدل واقعی را نشان نمی‌دهد.

اجرای محلی

با Ollama: LLM_BASE_URL=http://localhost:11434/v1 و نام مدل محلی؛ ۲۰ بار. بار اول ممکن است برای بارگذاری مدل کندتر باشد؛ آن را جدا گزارش کن. مصرف حافظه و اینکه مدل روی پردازنده گرافیکی است یا اصلی را هم بنویس.

سرویس میزبانی‌شده (در دسترس قانونی)

با ارائه‌دهنده‌ای که از نظر قانونی در دسترس است، فقط با متن ساختگی؛ تعداد اجرا را کم نگه دار (هزینه دارد). قیمت را از صفحه رسمی با تاریخ بردار.

اشتباه‌های رایج

اشتباهنتیجهکار درست
مقایسه فقط قیمت توکنهزینه بازبینی و تکرار پنهانفرمول هزینه کامل
مدل محلی «رایگان»سخت‌افزار و نگهداری حساب نمی‌شودهزینه ثابت در محاسبه
قیمت بدون تاریخمحاسبه کهنهقیمت با تاریخ و بازبینی دوره‌ای
تأخیر با یک اجرانتیجه تصادفیدست‌کم ده‌ها اجرا؛ میانه و صدک ۹۵
یک مدل برای همه گام‌هاگران یا کم‌کیفیتپله‌بندی با آزمون
بدون سقف بودجهصورت‌حساب غافلگیرکنندهشمارش و هشدار روزانه

اشکال‌زدایی

پس از تعویض به مدل ارزان‌تر، صورت‌حساب مدل کم شد ولی شکایت تیم از حجم کار زیاد شد.

خطای بیشتر مدل، زمان بازبینی و اصلاح را بالا برده است.

زمان بازبینی و نرخ ویرایش پیش و پس از تعویض را مقایسه کن.

هزینه کامل را حساب کن؛ شاید پله‌بندی (مدل بزرگ فقط برای گام دشوار) بهتر باشد.

چت‌بات گاهی بیست ثانیه طول می‌کشد، هرچند میانگین دو ثانیه است.

صدک‌های بالا (بار سرور، بارگذاری مدل محلی، خروجی بلند) دیده نشده‌اند.

صدک ۹۵ و بیشینه را اندازه بگیر؛ طول خروجی و بار اول را جدا کن.

سقف طول خروجی، مدل سریع‌تر برای آن گام، پاسخ جریانی یا پیام «در حال بررسی» در رابط.

هزینه ماهانه ناگهان بالا رفت بدون تغییر در ورک‌فلو.

قیمت ارائه‌دهنده یا نسخه مدل عوض شده، یا نرخ تکرار به‌خاطر خطاهای تازه بالا رفته است.

گزارش هفتگی توکن، تکرار و قیمت تاریخ‌دار را با ماه قبل مقایسه کن.

قیمت را به‌روز کن، علت تکرار را رفع کن، و انتخاب مدل را با عدد تازه بازنگری کن.

نکته‌های هزینه

تمرین کوتاه

تمرین · 10 دقیقه

هدف: محاسبه هزینه کامل.

گام‌ها: گام «پیش‌نویس پاسخ»: ۲۰۰۰ فراخوانی در ماه، ۶۰۰ توکن ورودی و ۲۰۰ خروجی، نرخ تکرار ۵ درصد. گزینه A: قیمت ۲ و ۱۰ (به ازای هر میلیون توکن)، بازبینی ۱ دقیقه. گزینه B: قیمت ۰٫۵ و ۲٫۵، بازبینی ۱٫۵ دقیقه. نرخ ساعتی بازبین ۶. هزینه کامل هر گزینه را حساب کن.

معیار پذیرش: A ≈ ۶٫۷۲ + ۲۰۰ = ۲۰۶٫۷۲؛ B ≈ ۱٫۶۸ + ۳۰۰ = ۳۰۱٫۶۸؛ نتیجه‌گیری درباره سهم بازبینی.

راه‌حل نمونه

فراخوانی با تکرار: ۲۰۰۰ × ۱٫۰۵ = ۲۱۰۰. A: ۲۱۰۰ × (۶۰۰×۲ + ۲۰۰×۱۰) / ۱٬۰۰۰٬۰۰۰ = ۲۱۰۰ × ۰٫۰۰۳۲ = ۶٫۷۲؛ بازبینی: ۲۰۰۰ × ۱ / ۶۰ × ۶ = ۲۰۰؛ کل ۲۰۶٫۷۲. B: ۲۱۰۰ × (۶۰۰×۰٫۵ + ۲۰۰×۲٫۵) / ۱٬۰۰۰٬۰۰۰ = ۲۱۰۰ × ۰٫۰۰۰۸ = ۱٫۶۸؛ بازبینی: ۲۰۰۰ × ۱٫۵ / ۶۰ × ۶ = ۳۰۰؛ کل ۳۰۱٫۶۸. با این فرض‌ها، مدل ارزان‌تر گران‌تر تمام می‌شود چون بازبینی بیشتر می‌خواهد.

چالش

تمرین · 30 دقیقه

موقعیت: برای دو گام مدل در طرح کار خودت، انتخاب مدل را با عدد انجام بده. داده‌های آزمون ساختگی یا ناشناس باشند.

  1. برای هر گام دو یا سه گزینه (میزبانی‌شده بزرگ و کوچک، یا محلی) با قیمت تاریخ‌دار یا هزینه ثابت.
  2. توکن از usage چند اجرای نمونه، نرخ تکرار و زمان بازبینی برآوردی (با توضیح فرض).
  3. تأخیر با measure_latency.py یا ابزار معادل برای دست‌کم دو گزینه.
  4. جدول تصمیم گام ۴ و انتخاب نهایی با دلیل؛ و سقف بودجه روزانه با هشدار.

خروجی مورد انتظار: CSV گزینه‌ها و خروجی cost_compare.py، گزارش تأخیر، جدول تصمیم و سقف بودجه.

معیار پذیرش:

  • هر قیمت تاریخ و منبع دارد؛ هر فرض نوشته شده است.
  • بازبینی انسانی و تکرار در هزینه آمده است.
  • تأخیر با چند اجرا و صدک ۹۵ گزارش شده است.
  • معیار داده و دسترسی قانونی در تصمیم آمده است.

پرسش‌های سنجش

جمع‌بندی

  • هزینه کامل = مدل × (۱ + تکرار) + ثابت + بازبینی انسانی؛ بازبینی اغلب بزرگ‌ترین جزء است.
  • توکن از usage، قیمت از صفحه رسمی با تاریخ، تکرار از لاگ، بازبینی از نمونه‌برداری.
  • تأخیر را با چند اجرا و میانه و صدک ۹۵ بسنج.
  • انتخاب مدل برای هر گام جدا: کیفیت، هزینه کامل، تأخیر، داده، دسترسی.
  • اهرم‌ها: ورودی کمتر، پله‌بندی مدل، دسته‌ای و کش؛ و همیشه سقف بودجه.

پرسش‌های سنجش

گام طبقه‌بندی: ۵۰۰۰ فراخوانی در ماه، ۳۰۰ توکن ورودی و ۵۰ خروجی، نرخ تکرار ۱۰ درصد، قیمت ۱ و ۵ به ازای هر میلیون توکن، بازبینی نمونه‌ای ۰٫۱ دقیقه برای هر فراخوانی با نرخ ساعتی ۶. هزینه کامل ماهانه را حساب کن و بگو بزرگ‌ترین جزء کدام است.

پاسخ نمونه و معیار ارزیابی

فراخوانی با تکرار ۵۵۰۰. مدل: ۵۵۰۰ × (۳۰۰×۱ + ۵۰×۵) / ۱٬۰۰۰٬۰۰۰ = ۵۵۰۰ × ۰٫۰۰۰۵۵ = ۳٫۰۲۵. بازبینی: ۵۰۰۰ × ۰٫۱ / ۶۰ × ۶ = ۵۰. کل حدود ۵۳٫۰۳؛ بزرگ‌ترین جزء بازبینی انسانی است.

  • اعمال نرخ تکرار (1 امتیاز)
  • محاسبه درست هزینه مدل (1 امتیاز)
  • محاسبه بازبینی و تشخیص بزرگ‌ترین جزء (1 امتیاز)
  • فقط ۳ واحد ← بازبینی انسانی را جا انداخته‌ای.

همکارت تأخیر مدل را با یک درخواست اندازه گرفته (۱٫۸ ثانیه) و می‌گوید برای چت‌بات کافی است. کاربران شکایت دارند که گاهی خیلی منتظر می‌مانند. چه چیزی در اندازه‌گیری اشتباه است و درستش چیست؟

پاسخ نمونه و معیار ارزیابی

یک اجرا تصادفی است و توزیع را نشان نمی‌دهد؛ تجربه شکایت‌ها مربوط به دنباله توزیع است. درست: دست‌کم ده‌ها اجرا با ورودی‌های نماینده، گزارش میانه و صدک ۹۵ (و بیشینه)، جدا کردن بار اول مدل محلی و ورودی یا خروجی بلند؛ و مقایسه صدک ۹۵ با نیاز کاربر.

  • یک اجرا کافی نیست (1 امتیاز)
  • میانه و صدک ۹۵ (1 امتیاز)
  • ورودی نماینده یا جداکردن بار اول (1 امتیاز)
  • میانگین بگیر ← میانگین دنباله را پنهان می‌کند؛ صدک ۹۵ تجربه کاربران ناراضی است.

یک مطب می‌خواهد پیام‌های بیماران را برای نوبت‌دهی طبقه‌بندی کند. گزینه‌ها: مدل میزبانی‌شده بزرگ (دقیق‌تر)، یا مدل محلی کوچک روی کامپیوتر مطب. با پنج معیار درس، موازنه را بنویس و تصمیم پیشنهادی‌ات را بده.

پاسخ نمونه و معیار ارزیابی

کیفیت: میزبانی‌شده احتمالاً دقیق‌تر؛ باید روی مجموعه آزمون سنجید. هزینه کامل: میزبانی‌شده توکن، محلی هزینه ثابت سخت‌افزار و نگهداری، و هر دو بازبینی. تأخیر: محلی روی سخت‌افزار ضعیف ممکن است کند باشد؛ برای نوبت‌دهی غیرفوری قابل قبول است. داده: پیام بیماران داده سلامت است؛ فرستادن به سرویس بیرونی نیاز به بررسی سیاست داده و مبنای قانونی دارد؛ محلی داده را داخل نگه می‌دارد. دسترسی: پایداری و دسترسی قانونی سرویس. پیشنهاد: مدل محلی برای طبقه‌بندی (کار ساده، داده حساس) با سنجش دقت و صف انسانی برای موارد نامطمئن؛ میزبانی‌شده فقط اگر سنجش و بررسی داده اجازه دهد.

  • کیفیت با سنجش (1 امتیاز)
  • هزینه کامل شامل ثابت (1 امتیاز)
  • معیار داده سلامت (1 امتیاز)
  • تصمیم مستدل با صف انسانی (1 امتیاز)
  • همیشه دقیق‌ترین ← دقت مهم است، ولی داده سلامت بدون بررسی به سرویس بیرونی نمی‌رود.

گزارش شبانه خلاصه تیکت‌های روز، ۸۰۰ فراخوانی مدل دارد که هیچ‌کدام فوری نیستند و پیام سیستمی طولانی و ثابتی دارند. کدام ترکیب اهرم‌ها بیشترین معنی را دارد؟

  • تعویض به بزرگ‌ترین مدل برای کیفیت بهتر.
  • پردازش دسته‌ای (اگر ارائه‌دهنده دارد) و کش بخش ثابت پرامپت، پس از کوتاه کردن ورودی.
  • افزایش تعداد تلاش دوباره.
  • فرستادن همزمان همه ۸۰۰ درخواست.
پاسخ نمونه و معیار ارزیابی
  • a ← هزینه را بالا می‌برد بی‌آنکه نیاز کیفیت سنجیده شده باشد.
  • c ← تلاش بیشتر هزینه را زیاد می‌کند، نه کم.
  • d ← به سقف نرخ می‌خورد و هزینه را کم نمی‌کند.

مدیر می‌گوید «مدل محلی رایگان است، همه را محلی کنیم». چه چیزهایی را در هزینه مدل محلی باید شمرد و در چه شرایطی با او موافقی؟

پاسخ نمونه و معیار ارزیابی

شمردن: سخت‌افزار با حافظه کافی (سهم ماهانه)، برق و روشن ماندن، نگهداری و به‌روزرسانی (وقت آدم)، و اثر کیفیت معمولاً کمتر مدل‌های کوچک بر زمان بازبینی؛ و تأخیر روی سخت‌افزار موجود. موافق وقتی: داده نباید بیرون برود یا سرویس میزبانی‌شده در دسترس قانونی نیست، کار ساده است و مدل محلی روی مجموعه آزمون کیفیت کافی دارد، و هزینه کامل (نه فقط توکن) کمتر یا قابل قبول است.

  • هزینه ثابت و نگهداری (1 امتیاز)
  • اثر کیفیت بر بازبینی (1 امتیاز)
  • شرط‌های منطقی بودن محلی (1 امتیاز)
  • رایگان است ← توکن رایگان است؛ سخت‌افزار، برق، نگهداری و بازبینی نه.

فایل‌های درس

نقطه پایانی آزمایشی برای تمرین اندازه‌گیری

barg-sabz-mock-api.py

مقایسه هزینه ماهانه گزینه‌های مدل

cost_compare.py

سه گزینه نمونه با قیمت و زمان بازبینی فرضی

options-example.csv

اندازه‌گیری میانه و صدک ۹۵ تأخیر

measure_latency.py

ابزارها و جایگزین‌ها

  • Python 3.9 یا بالاتر — محاسبه هزینه و اندازه‌گیری تأخیر — صفحه‌گسترده

منابع

Pricing Anthropic accessed 2026-10-13

Building effective agents Anthropic 2024-12-19 (page notes tooling has changed since)

Choosing the right model Anthropic 2026-10

Quickstart Ollama 2026-10

Rate limits OpenAI accessed 2026-10-16

Course

AI Inside Workflows