توکن، پنجره کانتکست و هزینه

توکن را اندازه بگیر، بفهم چه چیزی پنجره کانتکست را پر می‌کند و هزینه یک کار تکراری را درست برآورد کن؛ با توجه ویژه به متن فارسی.

بعد از این درس می‌توانی

  • توضیح بدهد توکن چیست و چرا شمار توکن یک متن به زبان و tokenizer مدل بستگی دارد؛ با یک شاهد منتشرشده.
  • شمار توکن یک متن را با یک ابزار یا فیلد رسمی اندازه بگیرد یا برآورد کند.
  • فهرست کند چه چیزهایی در پنجره کانتکست حساب می‌شوند و پیامد پرشدن آن را بگوید.
  • هزینه یک کار تکراری را با قیمت جدای ورودی و خروجی محاسبه و دو گزینه را مقایسه کند.
  • دست‌کم دو راه کاهش هزینه پیشنهاد بدهد که کیفیت را قربانی نکند.

چرا این درس مهم است

صاحب یک فروشگاه اینترنتی کوچک می‌خواهد پاسخ اولیه به پیام‌های مشتری را با کمک هوش مصنوعی آماده کند؛ روزی حدود ۳۰۰ پیام فارسی. برای برآورد هزینه، واژه‌های پیام‌ها را می‌شمارد و از قاعده‌ای که در یک آموزش انگلیسی دیده («هر ۱۰۰ توکن حدود ۷۵ واژه») استفاده می‌کند. ماه اول، صورت‌حساب تقریباً دو برابر برآورد درمی‌آید.

دلیلش سه اشتباه رایج است: قاعده انگلیسی را برای فارسی به کار برد، فراموش کرد که در هر نوبت گفتگو کل تاریخچه دوباره فرستاده می‌شود، و قیمت خروجی را با قیمت ورودی یکی گرفت. این درس هر سه را درست می‌کند. حتی اگر هیچ‌وقت پولی برای API ندهی، همین مفاهیم توضیح می‌دهند چرا مدل محلی‌ات وسط یک سند بلند «فراموش می‌کند» یا چرا پاسخ‌ها کند می‌شوند.

مفاهیم کلیدی

  • Token (توکن): واحدی که مدل پردازش می‌کند؛ واژه، بخشی از واژه، نویسه یا بایتsrc-claude-glossary.
  • Tokenizer (توکن‌ساز): قاعده‌ای که متن را به توکن می‌شکند. هر خانواده مدل ممکن است tokenizer خودش را داشته باشد؛ پس شمار توکن یک متن ثابت نیست.
  • Input and Output Tokens (توکن ورودی و خروجی): آنچه به مدل می‌فرستی و آنچه تولید می‌کند. معمولاً جدا قیمت‌گذاری می‌شوندsrc-claude-pricing.
  • Reasoning Tokens (توکن استدلال): توکن‌هایی که مدل استدلالی پیش از پاسخ تولید می‌کند. معمولاً دیده نمی‌شوند، ولی در شمارش و صورت‌حساب جزو خروجی‌اندsrc-openai-tokens-helpsrc-claude-context-windows.
  • Context Window (پنجره کانتکست): حداکثر توکنی که مدل در یک درخواست می‌تواند در نظر بگیرد. حافظه کاری مدل است، نه داده آموزشی‌اشsrc-claude-glossary.
  • Max Output (سقف خروجی): حداکثر طول پاسخ هر مدل که جدا از پنجره کانتکست تعیین می‌شودsrc-openai-tokens-help.
  • Usage (گزارش مصرف): فیلدهایی در پاسخ API که شمار واقعی توکن‌های ورودی و خروجی را گزارش می‌کنند.
  • MTok (میلیون توکن): واحد رایج اعلام قیمت؛ مثلاً «۲ دلار به ازای هر میلیون توکن ورودی».

مدل ذهنی

دو تصویر کنار هم:

  1. تاکسی‌متر دونرخی: هر توکنی که سوار می‌کنی (ورودی) یک نرخ دارد و هر توکنی که مدل تولید می‌کند (خروجی) نرخ دیگری، که معمولاً گران‌تر است. توکن‌های استدلال هم با نرخ خروجی حساب می‌شوند، حتی اگر نبینی‌شان.
  2. میز کار با اندازه ثابت: پنجره کانتکست اندازه میز است. هر نوبت گفتگو، همه چیزهای قبلی دوباره روی میز چیده می‌شوند و پیام تازه هم کنارشان. پاسخ مدل هم روی همین میز نوشته می‌شود.
چه چیزهایی پنجره کانتکست را در هر نوبت پر می‌کنند: دستور سیستمی، تعریف ابزارها، تاریخچه گفتگو، اسناد ضمیمه و پیام تازه ورودی هستند؛ پاسخ مدل و توکن‌های استدلال هم در همان پنجره جا می‌گیرند و در نوبت بعد به تاریخچه اضافه می‌شوند.

چه چیزهایی پنجره کانتکست را در هر نوبت پر می‌کنند

این تشبیه کجا غلط است؟ میز واقعی هر چه بزرگ‌تر بهتر است. پنجره کانتکست نه. هر چه متن بیشتری روی آن بگذاری، دقت مدل در پیدا کردن و به‌کاربستن جزئیات می‌تواند پایین بیاید (درس بعد را ببین). پس «جا داشتن» با «خوب کار کردن» یکی نیست.

گام‌به‌گام

گام ۱: توکن در فارسی ارزان نیست

برای متن انگلیسی دو قاعده سرانگشتی رایج است: هر توکن حدود ۴ نویسه یا سه‌چهارم واژه است، یعنی ۱۰۰ توکن حدود ۷۵ واژهsrc-openai-tokens-help. Google هم برای مدل‌های Gemini می‌گوید هر توکن حدود ۴ نویسه است و ۱۰۰ توکن حدود ۶۰ تا ۸۰ واژه انگلیسیsrc-gemini-tokens.

ولی همین راهنمای OpenAI صریحاً می‌گوید این قاعده برای زبان‌های دیگر صدق نمی‌کند و شمار توکن یک متن به مدل، encoding آن و زبان بستگی داردsrc-openai-tokens-help.

شاهد منتشرشده: OpenAI هنگام معرفی GPT-4o، شمار توکن یک جمله یکسان در ۲۰ زبان را با tokenizer قبلی و جدیدش گزارش کردsrc-openai-gpt4o:

زبانtokenizer قبلیtokenizer جدید
فارسی۶۱ توکن۳۲ توکن
عربی۵۳ توکن۲۶ توکن
انگلیسی۲۷ توکن۲۴ توکن

دو نتیجه از همین جدول (محاسبه ما):

  • با tokenizer جدید، جمله فارسی حدود ۱٫۳ برابر جمله انگلیسی توکن مصرف کرده (۳۲ در برابر ۲۴). با tokenizer قبلی این نسبت حدود ۲٫۳ برابر بود (۶۱ در برابر ۲۷).
  • عوض‌شدن tokenizer می‌تواند هزینه همان متن را تقریباً نصف یا دو برابر کند. جهت تغییر همیشه کاهش نیست: Anthropic می‌گوید tokenizer جدیدتر مدل‌هایش برای همان متن حدود ۳۰٪ توکن بیشتر از مدل‌های قبلی تولید می‌کندsrc-claude-glossary.

گام ۲: توکن را اندازه بگیر، حدس نزن

مسیرابزار
OpenAIابزار وب Tokenizer، کتابخانه متن‌باز tiktoken، API شمارش توکن ورودی، و فیلدهای usage در هر پاسخ (prompt_tokens، completion_tokens یا input_tokens، output_tokens)src-openai-tokens-help
AnthropicAPI شمارش توکن پیش از ارسال درخواستsrc-claude-context-windows
GeminicountTokens که فقط ورودی را می‌شمارد، و گزارش usage پس از پاسخ که توکن‌های ورودی، خروجی و تفکر را جدا می‌دهدsrc-gemini-tokens
مدل محلی Ollamaفیلدهای prompt_eval_count (توکن‌های ورودی) و eval_count (توکن‌های تولیدشده) در پاسخ APIsrc-ollama-api-chat

ریزه‌کاری مهم: شمارنده‌هایی که «کل درخواست» را می‌شمارند، قالب‌بندی پیام‌ها و دستورها را هم حساب می‌کنندsrc-openai-tokens-help. پس عدد آن‌ها از شمار توکن خود متن کمی بیشتر است. برای مقایسه دو متن، هر دو را با یک روش بشمار.

گام ۳: چه چیزی پنجره کانتکست را پر می‌کند

طبق مستندات Anthropic، همه این‌ها در پنجره کانتکست حساب می‌شوند: دستور سیستمی، همه پیام‌های گفتگو (از جمله نتیجه ابزارها، تصویرها و سندها)، تعریف ابزارها، و خود پاسخ مدل، از جمله توکن‌های تفکر. در هر نوبت، کل تاریخچه قبلی به‌علاوه پیام تازه فرستاده می‌شودsrc-claude-context-windows.

دو سقف جدا را با هم اشتباه نگیر:

  • پنجره کانتکست: کل ورودی و خروجی یک درخواست.
  • سقف خروجی: حداکثر طول پاسخ. در مدل‌های استدلالی باید برای توکن‌های استدلال هم جا بگذاریsrc-openai-tokens-help.

وقتی پنجره پر می‌شود چه اتفاقی می‌افتد؟ این به ارائه‌دهنده و ابزار بستگی دارد. مثلاً در API مدل‌های Anthropic، اگر ورودی به‌تنهایی از پنجره بزرگ‌تر باشد، درخواست با خطای 400 («prompt is too long») رد می‌شودsrc-claude-context-windows. در ابزارهای دیگر ممکن است رفتار متفاوت باشد. نکته خطرناک این است که همیشه خطای آشکار نمی‌گیری.

گام ۴: مدل محلی و یک درس درباره بررسی منبع

در Ollama، اندازه پنجره کانتکست قابل تنظیم است. ولی صفحه‌های رسمی خود Ollama درباره مقدار پیش‌فرض یکسان حرف نمی‌زنند: صفحه FAQ عدد ثابت ۴۰۹۶ توکن را می‌گویدsrc-ollama-faq، مستندات Modelfile پیش‌فرض پارامتر num_ctx را ۲۰۴۸ می‌نویسدsrc-ollama-modelfile، و صفحه «Context length» می‌گوید پیش‌فرض به حافظه گرافیک بستگی دارد: ۴ هزار توکن برای کمتر از ۲۴ گیگابایت VRAM، ۳۲ هزار برای ۲۴ تا ۴۸ گیگابایت، و ۲۵۶ هزار برای ۴۸ گیگابایت و بیشترsrc-ollama-context-length.

هر سه منبع رسمی‌اند و با هم نمی‌خوانند. کار درست این است که روی دستگاه خودت اندازه بگیری: ollama ps در ستون CONTEXT، پنجره تخصیص‌یافته را نشان می‌دهدsrc-ollama-context-length. صفحه Context length درباره اینکه اگر متن از پنجره بلندتر باشد چه می‌شود، چیزی نمی‌گویدsrc-ollama-context-length. پس این را هم باید خودت آزمایش کنی؛ کاری که در بخش اختیاری چالش این درس انجام می‌دهی.

طبق صفحه Context length، روی دستگاه‌هایی با کمتر از ۲۴ گیگابایت VRAM، یعنی بیشتر لپ‌تاپ‌ها، پیش‌فرض ۴ هزار توکن استsrc-ollama-context-length (و طبق Modelfile شاید حتی کمترsrc-ollama-modelfile). با نسبت‌های گام ۱، این ممکن است فقط چند صفحه متن فارسی باشد. اگر یک سند بلند فارسی را برای خلاصه‌کردن به مدل محلی بدهی، ممکن است مدل فقط بخشی از آن را ببیند.

گام ۵: هزینه را درست حساب کن

فرمول پایه:

هزینه یک درخواست = (توکن ورودی × قیمت ورودی ÷ ۱٬۰۰۰٬۰۰۰) + (توکن خروجی × قیمت خروجی ÷ ۱٬۰۰۰٬۰۰۰)

سه واقعیتی که برآوردها را خراب می‌کنند:

  1. قیمت خروجی معمولاً بیشتر است. در صفحه قیمت Anthropic در تاریخ بررسی این درس (مهر ۱۴۰۵، اکتبر ۲۰۲۶)، یکی از مدل‌ها ۲ دلار برای هر میلیون توکن ورودی و ۱۰ دلار برای هر میلیون توکن خروجی قیمت داشتsrc-claude-pricing؛ یعنی هر توکن خروجی پنج برابر توکن ورودی. قیمت‌ها زود عوض می‌شوند؛ همیشه صفحه رسمی را ببین.
  2. توکن استدلال، خروجی است. حتی اگر نبینی‌اش، با نرخ خروجی حساب می‌شودsrc-openai-tokens-help.
  3. قیمت کمتر برای هر توکن، تضمین هزینه کمتر نیست. مدل‌ها برای یک کار، تعداد متفاوتی توکن تولید می‌کنند. راهنمای OpenAI توصیه می‌کند هزینه را روی کارهای نماینده واقعی آزمایش کنیsrc-openai-tokens-help.

گام ۶: مدل محلی هم هزینه دارد

مدل محلی صورت‌حساب توکنی ندارد، ولی هزینه‌اش جای دیگری است: سخت‌افزار، برق، فضای دیسک، و مهم‌تر از همه زمان. محاسبه ساده: اگر هر پاسخ یک دقیقه طول بکشد و روزی ۳۰۰ پیام داشته باشی، فقط زمان پردازش حدود ۵ ساعت در روز است. در درس پنجم این هزینه‌ها را کنار هم می‌گذاری.

مثال‌ها

پیاده‌سازی عملی

دو تمرین عملی، حدود ۱۵ دقیقه.

تمرین ۱: اندازه‌گیری توکن فارسی و انگلیسی. فایل assets/parallel-text.md یک پاراگراف فارسی و ترجمه انگلیسی همان را دارد. شمار توکن هر دو را با یک روش اندازه بگیر، نسبت فارسی به انگلیسی را حساب کن و در دفترچه بنویس.

سرویس میزبانی‌شده (در دسترس قانونی)

از ابزار یا API رسمی شمارش توکن ارائه‌دهنده‌ای که برایت قانونی است استفاده کن، یا یک درخواست کوتاه بفرست و فیلد usage پاسخ را بخوان. متن تمرین ساختگی و بدون اطلاعات حساس است؛ با این حال هیچ متن محرمانه‌ای را در سایت‌های شمارش توکن غیررسمی نچسبان.

اجرای محلی

با Ollama، یک درخواست غیرجریانی بفرست و prompt_eval_count را بخوانsrc-ollama-api-chat:

curl http://localhost:11434/api/chat -d '{
  "model": "<نام-مدل-تو>",
  "messages": [{"role": "user", "content": "<پاراگراف فارسی را اینجا بچسبان>"}],
  "stream": false
}'

همین را با پاراگراف انگلیسی تکرار کن. چون این عدد قالب‌بندی پیام را هم شامل می‌شود، یک بار هم با محتوای خیلی کوتاه («سلام») اجرا کن و آن را به‌عنوان «سربار» از دو عدد دیگر کم کن. نتیجه تقریبی است، چون خود «سلام» هم چند توکن دارد؛ ولی برای مقایسه فارسی و انگلیسی کافی است.

بدون اجرا / شبیه‌ساز

از جدول منتشرشده OpenAI در گام ۱ استفاده کن. نسبت فارسی به انگلیسی را برای هر دو tokenizer و نسبت عربی به انگلیسی را حساب کن. بنویس اگر محصولت با tokenizer قبلی کار می‌کرد و به tokenizer جدید منتقل شود، هزینه بخش فارسی تقریباً چند درصد تغییر می‌کند. (برای بررسی: ۳۲ ÷ ۶۱ ≈ ۰٫۵۲، یعنی حدود ۴۸٪ کاهش.)

تمرین ۲: ماشین‌حساب هزینه. فایل assets/cost-calculator.csv را در صفحه‌گسترده باز کن. مثال فروشگاه را در آن بازسازی کن تا به ۳۶ دلار برسی. سپس دو ستون «سناریوی بهینه‌شده» و «مدل استدلالی» را اضافه کن و عددهای مثال را بازتولید کن.

اشتباه‌های رایج

اشتباهنتیجهکار درست
برآورد توکن فارسی با قاعده انگلیسیبرآورد هزینه تا دو برابر یا بیشتر کمتر از واقعاندازه‌گیری روی نمونه واقعی با همان مدل
فراموش‌کردن تاریخچه گفتگوهزینه با طولانی‌شدن گفتگو به‌طور پنهان رشد می‌کندتاریخچه را در برآورد بیاور؛ خلاصه یا کوتاهش کن
یکی‌گرفتن قیمت ورودی و خروجیکم‌برآوردی، به‌ویژه برای پاسخ‌های بلنددو ستون جدا در محاسبه
ندیدن توکن استدلالصورت‌حساب غیرمنتظره در مدل‌های استدلالیخروجی را از فیلد usage بخوان، نه از طول متن پاسخ
«پنجره بزرگ‌تر = مشکل حل شد»کندی، هزینه بیشتر، و گاهی دقت کمترفقط بخش مرتبط را بفرست
مقایسه مدل‌ها فقط با قیمت هر توکنانتخاب گزینه‌ای که در عمل گران‌تر استآزمون روی کار واقعی و جمع کل هزینه
چسباندن متن محرمانه در سایت‌های شمارش توکن ناشناختهنشت دادهابزار رسمی، مدل محلی یا متن ساختگی

اشکال‌زدایی

صورت‌حساب ماهانه چند برابر برآورد است.

معمولاً یکی از این‌ها: تاریخچه گفتگو در برآورد نبوده، قاعده انگلیسی برای فارسی استفاده شده، قیمت خروجی کمتر از واقع گرفته شده، یا توکن استدلال دیده نشده.

فیلدهای usage چند درخواست واقعی را بخوان و ورودی، خروجی و (اگر هست) استدلال را جدا جمع بزن. با جدول برآورد مقایسه کن.

برآورد را با داده واقعی به‌روز کن؛ تاریخچه را محدود یا خلاصه کن؛ فقط بخش مرتبط سند را بفرست.

درخواست با خطای «prompt is too long» یا مشابه رد می‌شود.

ورودی از پنجره کانتکست بزرگ‌تر استsrc-claude-context-windows.

شمار توکن ورودی را با شمارنده رسمی بگیر و با پنجره مدل مقایسه کن.

تلاش دوباره با همان ورودی فایده ندارد. ورودی را کوتاه کن، بخش‌بندی کن، یا فقط بخش مرتبط را بفرست.

مدل محلی در خلاصه یک سند بلند، فقط به بخش‌هایی از آن اشاره می‌کند یا اطلاعات بخشی از سند را «نمی‌داند».

احتمالاً سند از پنجره کانتکست تخصیص‌یافته بزرگ‌تر است و مدل بخشی از آن را نمی‌بیند.

ستون CONTEXT در ollama ps را با prompt_eval_count مقایسه کن. اگر نزدیک یا برابر سقف است، علت همین است.

بخش‌بندی سند، یا افزایش پنجره در صورت داشتن حافظه کافی.

پاسخ وسط جمله قطع می‌شود.

به سقف خروجی رسیده‌ای، یا در مدل استدلالی، توکن‌های استدلال بخش بزرگی از سقف را مصرف کرده‌اندsrc-openai-tokens-help.

دلیل توقف در پاسخ API (مثلاً stop_reason یا finish_reason) و شمار توکن خروجی.

سقف خروجی را بیشتر کن، یا پاسخ کوتاه‌تر و ساختاریافته‌تر بخواه.

نکته‌های امنیتی

نکته‌های هزینه

تمرین کوتاه

تمرین · 10 دقیقه

موقعیت (ساختگی): ماهی ۱۲۰ گزارش کوتاه تولید می‌شود. هر گزارش ۳٬۵۰۰ توکن ورودی و ۷۰۰ توکن خروجی دارد.

  • گزینه A: ورودی ۳ دلار و خروجی ۱۵ دلار برای هر میلیون توکن.
  • گزینه B: ورودی ۰٫۵ و خروجی ۲٫۵ دلار برای هر میلیون توکن، ولی چون خروجی‌اش گاهی ناقص است، به‌طور میانگین برای هر گزارش ۱٫۶ بار اجرا می‌شود.

گام‌ها:

  1. هزینه ماهانه هر گزینه را حساب کن.
  2. تفاوت را بنویس.
  3. در دو جمله بگو آیا هزینه توکن در این موقعیت عامل تعیین‌کننده است. اگر نه، چه چیزی هست؟

معیار پذیرش: هر دو عدد درست با دقت سه رقم اعشار؛ و پاسخ بند ۳ به هزینه بازبینی انسانی یا کیفیت اشاره کند.

راه‌حل نمونه

A: (۳٬۵۰۰ × ۳ + ۷۰۰ × ۱۵) ÷ ۱٬۰۰۰٬۰۰۰ = ۰٫۰۲۱ دلار برای هر گزارش؛ × ۱۲۰ = ۲٫۵۲۰ دلار در ماه. B: (۳٬۵۰۰ × ۰٫۵ + ۷۰۰ × ۲٫۵) ÷ ۱٬۰۰۰٬۰۰۰ = ۰٫۰۰۳۵ دلار؛ × ۱٫۶ × ۱۲۰ = ۰٫۶۷۲ دلار در ماه. تفاوت: حدود ۱٫۸۵ دلار در ماه. در این حجم، هزینه توکن تقریباً بی‌اهمیت است. عامل تعیین‌کننده، کیفیت و زمانی است که انسان صرف بررسی و اصلاح خروجی‌های ناقص گزینه B می‌کند. اگر بررسی هر گزارش ناقص چند دقیقه وقت بگیرد، B احتمالاً گران‌تر تمام می‌شود.

چالش

تمرین · 15 دقیقه

موقعیت: یک کار تکراری واقعی از کار یا زندگی خودت انتخاب کن که می‌خواهی با کمک مدل زبانی انجام دهی (با داده ساختگی یا ناشناس‌شده).

گام‌ها:

  1. یک نمونه واقعی از ورودی و خروجی آن را با مسیر اجرای خودت اندازه بگیر.
  2. هزینه ماهانه را با ماشین‌حساب برآورد کن. اگر مسیرت محلی است، به‌جای دلار، زمان پردازش در ماه را حساب کن.
  3. دو راه کاهش هزینه یا زمان پیشنهاد بده و برآورد را دوباره حساب کن.

خروجی مورد انتظار: یک برگه محاسبه (نسخه‌ای از cost-calculator.csv یا جدول خودت) با اندازه‌گیری، برآورد ماهانه و دو سناریوی بهینه‌شده.

معیار پذیرش:

  • اندازه‌گیری واقعی ثبت شده (یا در مسیر نمونه، فرض‌ها صریح نوشته شده‌اند).
  • دو پیشنهاد کاهش با برآورد جدید وجود دارد.
  • برای هر پیشنهاد، یک ریسک کیفیت و راه بررسی آن نوشته شده است.
  • یک جمله درباره عدم قطعیت برآورد نوشته شده (مثلاً «تعداد پیام‌ها در فصل شلوغ دو برابر می‌شود»).

پرسش‌های سنجش

جمع‌بندی

  • توکن واحد پردازش و صورت‌حساب است. شمار توکن یک متن به زبان و tokenizer مدل بستگی دارد.
  • قاعده‌های سرانگشتی انگلیسی برای فارسی صدق نمی‌کنند. در شاهد منتشرشده OpenAI، یک جمله فارسی با tokenizer جدید حدود ۱٫۳ برابر و با tokenizer قبلی حدود ۲٫۳ برابر جمله انگلیسی توکن داشت.
  • توکن را اندازه بگیر: شمارنده رسمی، فیلدهای usage، یا prompt_eval_count در Ollama.
  • پنجره کانتکست شامل دستور سیستمی، تاریخچه، سندها، تعریف ابزارها و خود پاسخ است. هر نوبت گفتگو کل تاریخچه (یا نسخه کوتاه‌شده‌اش) را دوباره می‌فرستد.
  • وقتی پنجره پر می‌شود، رفتار به ابزار بستگی دارد و همیشه خطای آشکار نمی‌گیری. منابع رسمی هم گاهی با هم نمی‌خوانند؛ روی دستگاه خودت اندازه بگیر.
  • هزینه = ورودی × قیمت ورودی + خروجی × قیمت خروجی. خروجی معمولاً گران‌تر است و توکن استدلال، خروجی حساب می‌شود.
  • قیمت کمتر برای هر توکن، الزاماً هزینه کل کمتر نیست. در حجم کم، زمان بازبینی انسانی معمولاً از هزینه توکن مهم‌تر است.

پرسش‌های سنجش

برآورد هزینه ماهانه یک دستیار پشتیبانی ۲۰ دلار بود ولی صورت‌حساب ۴۱ دلار آمد. گزارش usage میانگین چند درخواست واقعی را دیدی (پایین). محتمل‌ترین علت اختلاف چیست و دو اقدام برای اصلاح بنویس.

برآورد اولیه: ورودی ۱٬۴۰۰ توکن، خروجی ۱۵۰ توکن برای هر درخواست. گزارش واقعی (میانگین):

input_tokens: 2900
output_tokens: 260
# گفتگوها به‌طور میانگین ۵ نوبت دارند
پاسخ نمونه و معیار ارزیابی

ورودی واقعی بیش از دو برابر برآورد است. علت محتمل این است که تاریخچه گفتگو در هر نوبت دوباره فرستاده می‌شود و در برآورد نیامده بود (و احتمالاً شمار توکن فارسی با قاعده انگلیسی کم برآورد شده بود). اقدام‌ها: برآورد را با داده واقعی usage بازنویسی کن؛ تاریخچه را محدود یا خلاصه کن؛ فقط بخش مرتبط سند یا سیاست را بفرست. بعد کیفیت را آزمایش کن.

  • اختلاف ورودی (نه خروجی) را عامل اصلی می‌بیند (1 امتیاز)
  • تاریخچه گفتگو یا قاعده انگلیسی برای فارسی را به‌عنوان علت می‌گوید (1 امتیاز)
  • دو اقدام معقول کاهش ورودی می‌گوید (1 امتیاز)
  • به آزمون کیفیت پس از کاهش اشاره می‌کند (1 امتیاز)
  • قیمت ارائه‌دهنده بالا رفته ← ممکن است، ولی داده usage نشان می‌دهد خود شمار توکن ورودی دو برابر است؛ اول همین را بررسی کن.

هزینه ماهانه را حساب کن: روزی ۲۰۰ درخواست، ۳۰ روز. هر درخواست ۲٬۰۰۰ توکن ورودی و ۴۰۰ توکن خروجی. قیمت فرضی: ورودی ۲ دلار و خروجی ۱۰ دلار برای هر میلیون توکن. محاسبه را بنویس.

پاسخ نمونه و معیار ارزیابی

هر درخواست: ۲٬۰۰۰ × ۲ ÷ ۱٬۰۰۰٬۰۰۰ + ۴۰۰ × ۱۰ ÷ ۱٬۰۰۰٬۰۰۰ = ۰٫۰۰۴ + ۰٫۰۰۴ = ۰٫۰۰۸ دلار. روزانه ۰٫۰۰۸ × ۲۰۰ = ۱٫۶ دلار. ماهانه ۱٫۶ × ۳۰ = ۴۸ دلار. نکته: با اینکه خروجی یک‌پنجم ورودی است، نصف هزینه را می‌سازد.

  • هزینه هر درخواست ۰٫۰۰۸ دلار (1 امتیاز)
  • هزینه ماهانه ۴۸ دلار (1 امتیاز)
  • ورودی و خروجی را با نرخ جدا حساب کرده (1 امتیاز)
  • ۲٬۴۰۰ × ۲ ÷ ۱٬۰۰۰٬۰۰۰ ← خروجی را با نرخ ورودی حساب کرده‌ای؛ خروجی نرخ خودش را دارد.

همکارت برای برآورد هزینه ترجمه و خلاصه‌سازی متن‌های فارسی می‌گوید: «هر ۱۰۰ توکن حدود ۷۵ واژه است؛ پس کافی است واژه‌ها را بشماریم.» در دو جمله، با یک شاهد، نشان بده چرا این برآورد مطمئن نیست و چه پیشنهادی می‌دهی.

پاسخ نمونه و معیار ارزیابی

این قاعده برای متن انگلیسی است و راهنمای OpenAI می‌گوید برای زبان‌های دیگر صدق نمی‌کند. در جدول منتشرشده OpenAI، یک جمله فارسی با tokenizer جدید حدود ۱٫۳ برابر و با tokenizer قبلی حدود ۲٫۳ برابر جمله انگلیسی هم‌معنا توکن داشت. پیشنهاد: روی نمونه واقعی متن‌ها با همان مدل اندازه بگیریم.

  • می‌گوید قاعده مخصوص انگلیسی است (1 امتیاز)
  • یک شاهد مشخص (جدول GPT-4o یا راهنمای رسمی) می‌آورد (1 امتیاز)
  • اندازه‌گیری روی نمونه واقعی با همان مدل را پیشنهاد می‌دهد (1 امتیاز)
  • فارسی همیشه دقیقاً دو برابر است ← نسبت به tokenizer بستگی دارد و می‌تواند خیلی تغییر کند؛ عدد ثابتی وجود ندارد.

کدام مورد جزو چیزهایی **نیست** که در پنجره کانتکست یک درخواست حساب می‌شوند؟

  • دستور سیستمی
  • تعریف ابزارهایی که مدل می‌تواند صدا بزند
  • پاسخ مدل، از جمله توکن‌های تفکر
  • داده‌هایی که مدل در پیش‌آموزش دیده است
پاسخ نمونه و معیار ارزیابی
  • a ← دستور سیستمی هم جزو ورودی است و در پنجره حساب می‌شود.
  • b ← تعریف ابزارها هم در ورودی فرستاده می‌شود و جا می‌گیرد.
  • c ← پاسخ مدل و توکن‌های تفکر هم در پنجره جا می‌گیرند؛ برای همین باید برایشان جا بگذاری.

برای کاهش هزینه یک دستیار پاسخ به مشتری چهار پیشنهاد مطرح شده: (الف) فقط بخش مرتبط سیاست‌ها را بفرستیم؛ (ب) تاریخچه را به خلاصه کوتاه تبدیل کنیم؛ (ج) سقف خروجی را به ۵۰ توکن برسانیم؛ (د) دستور سیستمی را حذف کنیم. دو پیشنهاد بهتر را انتخاب کن و برای هرکدام یک ریسک و راه بررسی آن بنویس.

پاسخ نمونه و معیار ارزیابی

الف و ب. ریسک الف: بخش مرتبط درست انتخاب نشود و پاسخ به سیاست اشتباهی تکیه کند. بررسی: چند پرسش آزمون که به سیاست‌های مختلف نیاز دارند. ریسک ب: خلاصه، جزئیات مهم مثل شماره سفارش را حذف کند. بررسی: گفتگوهای آزمون با جزئیات کلیدی در نوبت‌های قبلی. ج پاسخ‌ها را ناقص و قطع‌شده می‌کند و د کیفیت و قواعد پاسخ را از بین می‌برد.

  • الف و ب را انتخاب می‌کند (1 امتیاز)
  • برای هر انتخاب یک ریسک واقعی می‌گوید (1 امتیاز)
  • برای هر ریسک یک راه بررسی قابل اجرا می‌گوید (1 امتیاز)
  • ج ← سقف خیلی کم، پاسخ را وسط جمله قطع می‌کند و مشتری پاسخ ناقص می‌گیرد.

یک سند فارسی ۳۰ صفحه‌ای را با مدل محلی خلاصه کردی و خلاصه هیچ اشاره‌ای به سه فصل اول سند ندارد. خروجی‌های زیر را داری. علت و اصلاح را بنویس.

خروجی‌های ساختگی

$ ollama ps
NAME           PROCESSOR    CONTEXT
sample-model   100% GPU     4096
# در پاسخ API:
"prompt_eval_count": 4096
پاسخ نمونه و معیار ارزیابی

برابری prompt_eval_count با سقف CONTEXT=4096 یک نشانه هشدار است که ورودی ممکن است در سقف جا نشده یا بخشی از آن کنار گذاشته شده باشد؛ ولی به‌تنهایی ثابت نمی‌کند ورودی اصلی از سقف بزرگ‌تر بوده یا دقیقاً فصل‌های اول حذف شده‌اند. باید تعداد توکن درخواست کامل را جدا اندازه بگیری، تنظیمات و لاگ نسخهٔ Ollama را بررسی کنی و یک نشانگر قابل بازیابی را در ابتدا/وسط/انتهای سند قرار دهی؛ سپس با بخش‌بندی و تجمیع یا افزایش حساب‌شدهٔ کانتکست دوباره آزمایش کنی.

  • برابری مصرف با سقف را نشانه هشدار، نه اثبات قطعی برش، می‌داند (1 امتیاز)
  • آزمون مشاهده‌پذیر (شمارش ورودی و نشانگرهای ابتدا/میانه/انتها) برای تشخیص می‌دهد (1 امتیاز)
  • بخش‌بندی یا افزایش پنجره همراه با آزمون کیفیت/حافظه را پیشنهاد می‌دهد (1 امتیاز)
  • حتماً سه فصل اول حذف شده ← این خروجی‌ها محل برش را ثابت نمی‌کنند؛ ابتدا ورودی کامل و رفتار نسخهٔ اجراشده را اندازه‌گیری کن.

فایل‌های درس

ماشین‌حساب هزینه با سناریوهای نمونه

cost-calculator.csv

متن موازی ساختگی فارسی و انگلیسی برای اندازه‌گیری توکن

parallel-text.md

ابزارها و جایگزین‌ها

  • صفحه‌گسترده — محاسبه هزینه — ماشین‌حساب و کاغذ
  • دفترچه آزمایش — ثبت اندازه‌گیری‌ها

منابع

Glossary Anthropic 2026-10

Pricing Anthropic accessed 2026-10-13

What are tokens and how to count them? OpenAI 2026-10

Context windows Anthropic 2026-10

Understand and count tokens Google 2026-10

Hello GPT-4o OpenAI 2024-05

Chat API Ollama 2026-10

FAQ Ollama 2026-10

Modelfile reference Ollama 2026-10

Context length Ollama 2026-10

دوره

هوش مصنوعی مولد را درست بفهم