فارسی و مدل‌های زبانی: هزینه، دقت و قالب

تفاوت‌های عملی زبان فارسی را در شمار توکن، کیفیت پاسخ و پردازش نوشتار می‌سنجی؛ یک قرارداد امن برای عدد، تاریخ شمسی، نیم‌فاصله و نمایش راست‌به‌چپ می‌سازی و خروجی را با نمونه‌های بومی می‌آزمایی.

بعد از این درس می‌توانی

  • C03-I02 / C02-I05: تفاوت نتیجهٔ یک بنچمارک فارسی با حکم کلی دربارهٔ همهٔ مدل‌ها را در ۴ مورد از ۵ گزاره تشخیص دهد.
  • C03-I04 / C04-I03: هزینه و جاگیری کانتکست را با توکن‌ساز مشخص و ورودی یکسان اندازه بگیرد و به‌جای ضریب ثابت فارسی، روش بازتولید را ثبت کند.
  • C01-I04 / C06-I01: در ۴ مورد از ۵ نمونهٔ نگارشی، ک/ك، ی/ي، نیم‌فاصله و قاعدهٔ نمایش RTL را بدون از دست‌دادن معنای متن مدیریت کند.
  • C05-I02 / C05-I05: برای پنج مورد داده عددی و زمانی، واحد پول و نوع تقویم را صریح ثبت و تبدیل تأییدنشده را متوقف کند.
  • C02-I02 / C04-I02: یک Micro-Eval بومی با ۵ سناریو و دو خروجی مقایسه‌ای بسازد و در کنار شکل پاسخ، دلیل و منبع را جدا بررسی کند.

چرا این درس مهم است

در یک فروشگاه آنلاین ساختگی در شیراز، یک دستیار فارسی سفارش را خلاصه می‌کند: مبلغ «۱۲۵٬۰۰۰ تومان» را «۱۲۵٬۰۰۰ ریال» می‌نویسد، تاریخ شمسی را بدون ذکر تقویم در ستون میلادی می‌گذارد و شناسهٔ INV-204/ب را در نمای راست‌به‌چپ گیج‌کننده نشان می‌دهد. متن روان است، ولی نتیجه برای پردازش و ارسال قابل اتکا نیست.

این درس به‌جای تبلیغ یک مدل «بهتر برای فارسی»، سه سؤال قابل بررسی می‌پرسد: هزینهٔ واقعی توکن چیست؟ مدل روی کار فارسی خودمان چه خطاهایی دارد؟ قرارداد نوشتار و داده چه چیزی را باید قطعی کنترل کند؟ [اصل پایدار] هیچ‌کدام با «فارسی جواب بده» به‌تنهایی حل نمی‌شوند.

مفاهیم کلیدی

  • [اصل پایدار] `Tokenizer`: تبدیل رشتهٔ ورودی به شناسه‌های توکن؛ واژه، نیم‌فاصله یا کاراکتر لزوماً یک توکن نیست.
  • [اصل پایدار] `Token Fertility`: نسبت توکن به واحد تعریف‌شده، معمولاً تعداد واژه؛ این نسبت به قواعد جداسازی واژه و توکن‌ساز وابسته است.
  • [اصل پایدار] `Micro-Eval`: مجموعه‌آزمون کوچک از کارهای واقعی خودت؛ با ورودی ثابت، پاسخ مورد انتظار و برگهٔ داوری.
  • [استاندارد] `Unicode`: شیوهٔ نمایش کدپوینت؛ ی فارسی U+06CC با ي عربی U+064A و ک فارسی U+06A9 با ك عربی U+0643 متفاوت است.
  • [استاندارد] `ZWNJ`: نویسهٔ بدون پهنای عدم اتصال U+200C؛ در واژه‌هایی مانند «می‌روم» بر نگارش و جست‌وجو اثر می‌گذارد.
  • [استاندارد] `BiDi`: الگوریتم نمایش متنِ فارسی و لاتین کنار هم؛ «جهت دیدن» با «ترتیب منطقی ذخیره» یکی نیستsrc-uax9.
  • [اصل پایدار] `Locale`، `Calendar`، `Unit`: زبان/منطقه، دستگاه تقویم و واحد مبلغ را به‌صورت دادهٔ صریح تعیین کن؛ مدل نباید خودش حدس بزند.

واژهٔ «استاندارد» را دقیق به کار ببر: ISIRI 6219:2002 دربارهٔ تبادل و نمایش دادهٔ فارسی به کمک Unicode استsrc-isiri؛ این به‌معنای آن نیست که آن سند نحوهٔ تبدیل «تومان ↔ ریال» یا تبدیل تاریخ شمسی را برای کسب‌وکار تو مشخص کرده باشد.

مدل ذهنی

سه لایه را جدا کن: ۱. متن (نویسه‌ها، نیم‌فاصله و توکن‌سازی)، ۲. معنا (آیا جواب در حوزهٔ کار درست است؟)، ۳. قرارداد و نمایش (واحد، تقویم، JSON و RTL). مدل زبانی شاید هر سه را به‌شکل متنی تقلید کند، ولی فقط بخشی را می‌توان با کد قطعی تضمین کرد.

لایهنشانه خطاروش سنجش و مسئول کنترل
متن/هزینهك به‌جای ک، شمار توکن نامعلومبازبینی کدپوینت، شمارش با Tokenizer معلوم؛ برنامه‌نویس
دقت فارسیتأیید یک گزارهٔ نادرست با ادبیات مؤدبانهسناریوی منفی/مثبت و بررسی شاهد؛ انسان با روبریک
قالب/واحدجابه‌جایی تومان/ریال، تاریخ بدون تقویم، چیدمان گیج‌کنندهفیلد صریح، اعتبارسنجی قطعی و نمایش جهت‌دار؛ سازنده رابط

تمثیل: JSON مثل پاکت نامهٔ درست بسته‌بندی‌شده است؛ ممکن است داخل آن مبلغ اشتباه باشد. Schema درست بودن شکل پاکت را می‌سنجد، نه حقیقت مبلغ. این مرز در structured-output معرفی شده و اینجا با نمونه فارسی آزمایش می‌شود.

گام‌به‌گام

گام ۱: بنچمارک فارسی را در محدوده خودش بخوان

[ابزار — ۲۰۲۴] Khayyam Challenge / PersianMMLU در نسخهٔ معرفی‌شدهٔ پژوهش ۲۰۲۴، ۲۰٬۱۹۲ پرسش چهارگزینه‌ای از ۳۸ وظیفهٔ آموزشی فارسی دارد و از دادهٔ اصیل، نه ترجمهٔ مستقیم یک آزمون انگلیسی، بهره می‌گیردsrc-khayyam. این عدد تعداد سؤال آن نسخه است، نه درصد توانایی همهٔ مدل‌ها در سال ۲۰۲۶. وضعیت منبع این نسخه: arXiv preprint.

[ابزار — ۲۰۲۵] FarsEval-PKBETS شامل حدود ۴٬۰۰۰ پرسش در چند قالب است. در آزمایش مقاله، میانگین عملکرد سه مدل ارزیابی‌شده کمتر از ۵۰٪ گزارش شده؛ نه اینکه «تمام مدل‌های امروز در فارسی زیر ۵۰٪ هستند»src-farseval. وضعیت منبع: arXiv preprint. اعداد جدول‌های مدل‌های ۲۰۲۴ را با مدل‌های سال‌های بعد مخلوط نکن.

[ابزار — ۲۰۲۶] مقالهٔ داوری‌شدهٔ کارگاه SilkRoadNLP 2026 روی DIVANBENCH با ۳۱۵ سؤال و ۷ مدل بررسی‌شده میانگین شکافِ ۲۱٫۳ واحد درصدی میان بازیابی واقعیت فرهنگی و پاسخ سناریویی را گزارش کرده استsrc-divan. این یافته بر همان نمونه/مدل/روش آزمون صدق می‌کند، نه بر هر درخواست فارسی. شواهد موجود اجازه نمی‌دهند ادعا کنیم ادامهٔ پیش‌آموزش فارسی *همیشه* استدلال را خراب می‌کند.

گام ۲: تعداد توکن را برای همان متن، نه با ضریب ثابت، بسنج

[اصل پایدار] پژوهش داوری‌شدهٔ Ahia و همکاران روی زبان‌های متعدد نشان می‌دهد که تعداد توکن لازم برای انتقال محتوای مشابه، میان زبان‌ها و توکن‌سازها متفاوت استsrc-ahia. بنابراین «فارسی همیشه دو برابر انگلیسی هزینه دارد» یا «بزرگ‌ترشدن واژگان همیشه کیفیت را بهتر می‌کند» قانون نیست.

  1. برای یک متن فارسی مشخص و نسخهٔ انگلیسی هم‌معنا، هر دو متن را ذخیره کن؛ تفاوت سبک ترجمه را در گزارش بنویس.
  2. نام Tokenizer و نسخهٔ ابزار را ثبت کن. در نمونهٔ آزاد tiktoken می‌توان cl100k_base و o200k_base را جدا شمردsrc-tiktoken.
  3. شمار واقعی، نسبت «تعداد توکن فارسی ÷ تعداد توکن انگلیسی» و روش جداسازی واژه را ثبت کن؛ نسبت نمونه را به همهٔ متن‌ها تعمیم نده.
  4. برای هزینهٔ سرویس واقعی، علاوه بر متن، سربار پیام/ابزار و فیلدهای usage خود سرویس و قیمت همان تاریخ را لحاظ کن؛ این تمرین به API پولی نیاز ندارد.
import tiktoken  # اختیاری؛ نصب رایگان محلی با pip install tiktoken
fa = "امروز گزارش فروش را بررسی می‌کنیم."
en = "Today we review the sales report."
for name in ("cl100k_base", "o200k_base"):
    enc = tiktoken.get_encoding(name)
    print(name, len(enc.encode(fa)), len(enc.encode(en)))
# تعدادها را با نسخهٔ نصب‌شده ثبت کن؛ از قبل حدس نزن.

گام ۳: متن فارسی را کنترل‌شده پاک‌سازی کن

[استاندارد] U+200C بخشی از متن است، نه فاصلهٔ معمولی. NFC می‌تواند صورت‌های ترکیبی استاندارد را یکنواخت کند، اما به‌تنهایی همهٔ تفاوت‌های ي/ی و ك/ک را برطرف نمی‌کند. تبدیل این دو جفت را آگاهانه و با آزمون انجام بده؛ جایگزینی سراسری یا حذف تمام نویسه‌های نامرئی ممکن است نام‌ها، جست‌وجو، شناسه یا دادهٔ اصلی را خراب کندsrc-uax31src-isiri.

import json, unicodedata
raw = "كتاب مي‌روم"  # عمداً شامل ك و ي عربی
clean = unicodedata.normalize("NFC", raw).translate(
    str.maketrans({"ك": "ک", "ي": "ی"})
)
assert clean == "کتاب می‌روم"
print(clean, [hex(ord(c)) for c in clean if c == "‌"])
# دادهٔ خام را جدا نگه دار؛ این فقط نمونهٔ کنترل‌شدهٔ متن نمایشی است.

گام ۴: واحد پول، تاریخ و ارقام را از مدل جدا کن

[اصل پایدار] مثال ساختگی: مشتری نوشته «۱۲۵٬۰۰۰ تومان»، اما سیستم مقصد فقط IRR می‌پذیرد. قبل از تبدیل، واحد مبدأ، قاعدهٔ تبدیل سازمان و منبع عدد را بررسی کن؛ در صورت نامشخص بودن قاعده، وضعیت NEEDS_REVIEW بده. تاریخ «۱۴۰۵/۰۸/۱۶» را همراه calendar=jalali و منطقه زمانی مشخص نگه دار؛ نوشتن آن در فیلد میلادی بدون تبدیل معتبر ممنوع است.

ورودی (ساختگی)ثبت ایمنرفتار ممنوع
«۱۲۵٬۰۰۰ تومان»amount=125000، unit=tomanتغییر بی‌اطلاع آن به IRR
«۱۴۰۵/۰۸/۱۶»date=1405/08/16، calendar=jalaliنامیدن آن به‌عنوان تاریخ Gregorian
INV-204/برشتهٔ شناسهٔ ثابت؛ نمایش با bdiبرعکس‌کردن کاراکترهای شناسه برای زیبایی
«می‌روم»ثبت U+200C در واژه؛ آزمون جست‌وجوحذف تمام نیم‌فاصله‌ها در همهٔ متن‌ها

گام ۵: برای رابط، `RTL` را در نمایش حل کن نه با دستکاری `JSON`

[استاندارد] Unicode UAX #9 الگوریتم نمایش دو‌جهته استsrc-uax9. راهنمای W3C برای HTML توصیه می‌کند جهت پایهٔ صفحه/بخش فارسی روشن باشد و متنِ ترکیبی یا ناشناخته در bdi یا با dir="auto" مهار شودsrc-w3c. کلیدهای `JSON` ترتیب منطقی خود را حفظ می‌کنند و جهت UI نباید فیلد یا رشته را معکوس کند.

<section lang="fa" dir="rtl">
  <p>شناسه: <bdi>INV-204/ب</bdi></p>
  <pre dir="ltr">{"amount":125000,"unit":"toman","calendar":"jalali"}</pre>
</section>

گام ۶: آزمون پنج‌تایی فارسی بساز و تصمیم بگیر

از پنج سناریوی مثبت، منفی، عددی، زمانی و نگارشی استفاده کن. خروجی A و B را بدون دیدن نام مدل، در سه ستون نمره بده: (۱) صحت محتوا، (۲) رعایت قرارداد داده، (۳) توضیح با شاهد. حد قبولی تمرینی: دست‌کم ۴ مورد از ۵ سناریو با پاسخ درست و بدون هیچ تبدیل پول/تقویمِ بی‌مجوز؛ این هدف آموزشی طراحی‌شده است، نه آمار بهبود مدل‌ها.

مثال‌های واقعی‌نما (همگی ساختگی)

[ابزار — ۲۰۲۶] در TARAZ، یک پژوهش داوری‌شدهٔ کنفرانس LREC 2026، سنجش پاسخ‌های کوتاه فرهنگی با یکسان‌سازی صرفی و شباهت معنایی بررسی شده است؛ آن پژوهش قول «دقت ۱۰۰٪ داور» یا «همیشه ۷۰ تا ۸۰٪ توافق» نمی‌دهدsrc-taraz. برای تمرین، بررسی انسانی مستقل همچنان لازم است.

پیاده‌سازی عملی با ابزار رایگان

زمان اجرا: ۱۵ دقیقه. فقط با Python 3 و کتابخانه‌های درون آن، دادهٔ ساختگی را به رشتهٔ JSON تبدیل و چهار کنترل انجام بده. اگر اجرای Python نداری، خروجی و آزمون‌ها را دستی با جدول همین درس بررسی کن. نه حساب پولی لازم است و نه ارسال داده به API.

import json, unicodedata
record = {
    "order_id": "ORD-45/الف",
    "amount": 125000,
    "unit": "toman",
    "date": "1405/08/16",
    "calendar": "jalali",
    "notes": "كتاب مي‌روم",
}
raw = json.dumps(record, ensure_ascii=False, separators=(",", ":"))
parsed = json.loads(raw)
assert parsed["amount"] == 125000
assert parsed["unit"] == "toman"
assert parsed["calendar"] == "jalali"
assert parsed["order_id"] == "ORD-45/الف"
normalized_notes = unicodedata.normalize("NFC", parsed["notes"]).translate(
    str.maketrans({"ي": "ی", "ك": "ک"})
)
assert normalized_notes == "کتاب می‌روم"
print(raw)
print("PASS: 5 declared checks; business truth still unverified")
  1. کنترل شکل: json.loads نشان می‌دهد متن JSON قابل خواندن است؛ این کار صحت مبلغ یا تاریخ را تأیید نمی‌کند.
  2. کنترل واحد: مقدار unit همان toman می‌ماند؛ هر تبدیل به IRR به قاعدهٔ جدا نیاز دارد.
  3. کنترل تقویم: calendar=jalali مستقل از رشتهٔ تاریخ نگه داشته شده است.
  4. کنترل نویسه: در یادداشت *نمایشی* فقط دو جفت نویسه تبدیل می‌شوند؛ رشتهٔ خام برای ممیزی باقی می‌ماند.
  5. کنترل خروجی: JSON با ترتیب منطقی ذخیره می‌شود؛ جهت نمایشی در UI جدا تعیین می‌گردد.

برای قراردادهای پیچیده‌تر، JSON Schema و کنترل معنایی را در structured-output تکمیل کن؛ برای ردیابی ادعا تا سند اصلی از verifying-ai-output کمک بگیر.

اشتباه‌های رایج

اشتباهپیامدراه درست
استنتاج توانایی ۲۰۲۶ از بنچمارک ۲۰۲۴رتبهٔ کهنه یا نامتناسبنسخه، مدل، وظیفه و مخرج هر عدد را بنویس
فرض «هر ۱۰۰۰ واژه فارسی همیشه X توکن»بودجهٔ اشتباهتوکن‌ساز و نمونهٔ واقعی را اندازه بگیر
حذف همهٔ نیم‌فاصله‌هاخطای نگارش، جست‌وجو یا تطبیقنرمال‌سازی کنترل‌شده و نگهداری دادهٔ خام
تغییر تومان به ریال بدون قراردادخطای مالیواحد و قاعده تبدیل را صریح و قابل ممیزی نگه دار
نوشتن تاریخ شمسی در فیلد میلادیخطای زمان‌بندینوع تقویم، منطقه زمانی، تبدیل تأییدشده
معکوس‌کردن رشتهٔ JSON برای راست‌چین شدندادهٔ نامعتبرجهت را در لایه نمایش تنظیم کن
اتکای کامل به جواب و دلیل مدلخطای پنهان با لحن متقاعدکنندهزوج مثبت/منفی و بررسی مستقل شاهد

عیب‌یابی

یک متن ثابت فارسی در دو ابزار شمار توکن متفاوتی دارد.

احتمالاً Tokenizer یا پیش‌پردازش متفاوت است.

متن بایت‌به‌بایت، نام توکن‌ساز و تنظیمات را کنار هم ثبت کن.

با یک Tokenizer مشخص و متن یکسان بازشمارش کن؛ تفاوت را به خطای مدل نسبت نده.

«می‌روم» در جست‌وجو پیدا نمی‌شود ولی «مي‌روم» موجود است.

تفاوت کدپوینت ی/ي یا نیم‌فاصله و فاصله.

کدپوینت‌های دو رشته را چاپ و مقایسه کن.

دادهٔ اصلی را نگه دار و نسخهٔ نرمال‌شده برای نمایه بساز؛ قواعد یکسان‌سازی را آزمایش کن.

یک JSON معتبر است ولی تاریخ و مبلغ اشتباه وارد سیستم بعدی می‌شود.

Schema به‌تنهایی معنای واحد و تقویم را نمی‌سنجد.

calendar و unit را با فیلدهای ورودی و قرارداد کسب‌وکار تطبیق بده.

قبل از ارسال، کنترل قطعی و NEEDS_REVIEW برای ابهام بگذار.

شناسهٔ سفارش در صفحه راست‌به‌چپ وارونه به نظر می‌رسد.

متن ترکیبی فارسی/لاتین بدون bidi isolation نمایش داده شده است.

ترتیب منطقی رشته را با خروجی JSON مقایسه کن.

در HTML dir="rtl" و bdi/dir="auto" بگذار؛ داده را معکوس نکن.

ایمنی، حریم خصوصی و دسترسی

تمرین کوتاه: پنج آزمون بومی

تمرین · 10 دقیقه

سناریوی ساختگی: پنج ورودی پایین به تو داده شده. برای هرکدام «دادهٔ اصلی»، «کدام قاعده؟» و «چه بررسی‌ای؟» بنویس. معیار آموزشی: ۴ مورد درست از ۵، و هیچ تبدیل بی‌مجوزِ پول/تقویم.

  1. كتاب در یادداشت نمایشی: کدام نویسه باید با ک فارسی یکسان شود؟
  2. مي‌روم در متن فارسی: تفاوت ي و ی و نقش نیم‌فاصله را توضیح بده.
  3. amount=125000; unit=toman: آیا می‌توان بی‌قرارداد آن را با برچسب IRR فرستاد؟
  4. date=1405/08/16; calendar=jalali: آیا رشته را می‌توان میلادی نامید؟
  5. ORD-45/الف در صفحه فارسی: آیا باید کاراکترهای شناسه را برعکس ذخیره کرد؟

برگهٔ تحویل: پنج ردیف «ورودی | قاعده | خروجی قابل‌قبول | کنترل نهایی»؛ ردیف ۳ و ۴ باید بدون تبدیل حدسی باشند.

راه‌حل نمونه
  • ۱) فقط برای متنِ نمایشی ك عربی به ک فارسی تبدیل و نسخه اصلی حفظ شود.
  • ۲) ي عربی به ی فارسی تبدیل شود و U+200C در «می‌روم» حفظ شود.
  • ۳) خیر؛ toman تا روشن‌شدن قاعده تبدیل باید بماند.
  • ۴) خیر؛ calendar=jalali باید همراه رشته ثبت شود.
  • ۵) خیر؛ شناسه همان ترتیب منطقی را دارد و تنها نمایش با bdi اصلاح می‌شود.

چالش اختیاری: برگهٔ ارزیابی فارسی

تمرین · 25 دقیقه

پروژهٔ اختیاری بدون اشتراک پولی (ساختگی): برای دستیار خلاصهٔ سفارش پنج سناریوی فارسی بساز: نیم‌فاصله، عدد/واحد، تقویم، شناسهٔ دوجهته، و یک گزارهٔ فرهنگی منفی. می‌توانی از همین درس دو خروجی ساختگی A و B بسازی و بدون اجرای مدل نمره بدهی.

  1. برای هر سناریو ورودی دقیق، پاسخ مورد انتظار و یک خطای ممنوع بنویس.
  2. دو پاسخ A/B را با نام‌های کور (بدون نام مدل) و با سه معیار «معنا، قالب، دلیل» بررسی کن.
  3. مخرج را صریح ثبت کن: passed_cases/5 و فهرست مواردی که اصلاً اجرا نشده‌اند؛ پاسخ حدسی را موفقیت نشمار.
  4. یک شرط توقف بنویس: هر تبدیل مالی یا تقویمی بدون قرارداد → NEEDS_REVIEW، حتی اگر ۴ مورد دیگر قبول باشند.
  5. نتیجه را در ۵ سطر با محدودیت آزمون گزارش کن؛ بهبود درصدی را بدون اندازه‌گیری ادعا نکن.

معیار پذیرش: پنج سناریو با سه ستون داوری، یک شاهد/قاعده برای هر مورد، و یک دروازه اجباری برای واحد و تقویم. این آزمون محلی رتبه‌بندی عمومی مدل‌ها نیست.

راه‌حل نمونه

پاسخ نمونه: A در مورد مبلغ و تاریخ مردود؛ B در حفظ مبلغ، تقویم و شناسه قابل‌قبول اما برای صحت سفارش باید سند اصلی بررسی شود. اگر مدل اجرا نشده است، نتیجه را «ارزیابی متن نمونه» بنویس، نه «تست مدل انجام‌شده». نمرهٔ نمونه را فقط از خروجی‌های واقعاً بررسی‌شده حساب کن.

پرسش‌های سنجش

جمع‌بندی

  • [اصل پایدار] در فارسی، دقتِ مدل، شمار توکن و نمایش متن سه مسئلهٔ جداگانه‌اند؛ هیچ ضریب هزینه یا رتبهٔ مدل را بی‌قید تعمیم نده.
  • [استاندارد] ISIRI 6219، Unicode و UAX #9 برای خط و نمایش‌اند؛ برای واحد، تقویم و صحت عدد کنترل جدا لازم است.
  • [ابزار — ۲۰۲۶-۱۱-۰۷] ابزار و مدل‌ها نسخه‌دارند؛ به نام مدل و توکن‌ساز و تاریخ آزمون اشاره کن.
  • در چهار درس tokens-context-cost، choosing-models-providers، prompt-engineering و structured-output جعبهٔ کوتاه فارسی اضافه شده؛ جزئیات عملی یکپارچه اینجاست.
  • حد آموزشی این درس: ۴ از ۵ مثال درست، بدون هیچ تبدیل پول یا تاریخ بی‌مجوز؛ این هدف، آمار پژوهشی نیست.

قدم بعدی: نمونه‌های فارسی را در testing-prompts-project نسخه‌بندی کن؛ برای ممیزی صحت ادعا، verifying-ai-output و برای قرارداد API، structured-output را مرور کن.

منابع پشتیبان این درس: JSON Schema: Object Referencesrc-jsonschema.

پرسش‌های سنجش

کدام نتیجه‌گیری از `DIVANBENCH` با منبع سازگار است؟

  • تمام مدل‌های فارسی همیشه ۲۱٪ خطا دارند.
  • در مطالعه‌ای روی ۷ مدل و ۳۱۵ سؤال، میانگین شکاف بین دو نوع عملکرد حدود ۲۱٫۳ واحد درصد گزارش شد.
  • آموزش تکمیلی فارسی برای هر مدل حتماً مضر است.
  • هر مدلی که روی سؤال چهارگزینه‌ای درست است، دلیل صحیح هم می‌دهد.
پاسخ نمونه و معیار ارزیابی
  • a ← ۲۱٫۳ واحد درصد، نرخ خطای عمومی نیست.
  • c ← نتیجه این هفت مدل، حکم قطعی برای همه مدل‌ها نمی‌دهد.
  • d ← درستی انتخاب و کیفیت دلیل دو معیار جدا هستند.

یک همکار می‌گوید: «برای هر ۱۰۰۰ کلمه فارسی، همیشه ۲۰۰۰ توکن بودجه بگذار؛ همه مدل‌ها همین‌اند.» چه پاسخی می‌دهی و چطور را می‌آزمایی؟

پاسخ نمونه و معیار ارزیابی

این نسبت قانون نیست. متن ثابت و نمونهٔ انگلیسی هم‌معنا را با Tokenizer مشخص در نسخه مشخص شمارش و نسبت را برای همان نمونه ثبت می‌کنم؛ برای قیمت واقعی گزارش usage ارائه‌دهنده را هم می‌سنجم. اگر شمارنده قابل اجرا نیست، می‌نویسم «اندازه‌گیری‌نشده»، نه عدد تخمینی را به‌جای واقعیت.

  • بی‌اعتباری ضریب ثابت را توضیح می‌دهد. (1 امتیاز)
  • Tokenizer و ورودی ثابت و نسخه را ثبت می‌کند. (1 امتیاز)
  • فرق تخمین با گزارش مصرف واقعی را مشخص می‌کند. (1 امتیاز)

    دو رشتهٔ «كتاب» و «کتاب» در جست‌وجوی یک سامانه تطبیق نمی‌شوند. علت قابل آزمایش و اصلاح کم‌خطر چیست؟

    پاسخ نمونه و معیار ارزیابی

    کدپوینت ك عربی با ک فارسی متفاوت است. با نمایش کدپوینت‌ها تفاوت را اثبات می‌کنم؛ فقط در مسیر جست‌وجو/نمایش، نگاشت کنترل‌شده می‌سازم و متن اصلی را برای ممیزی نگه می‌دارم. نیم‌فاصله‌ها را کورکورانه پاک نمی‌کنم.

    • اختلاف U+0643 و U+06A9 را می‌شناسد. (1 امتیاز)
    • بررسی کدپوینت و نگاشت کنترل‌شده پیشنهاد می‌کند. (1 امتیاز)
    • داده خام را حفظ می‌کند. (1 امتیاز)

      مدلی از «۱۲۵٬۰۰۰ تومان، ۱۴۰۵/۰۸/۱۶ شمسی» خروجی `{"amount":125000,"currency":"IRR","date":"1405/08/16"}` داده و JSON هم معتبر است. دو اشکال و دروازه کنترل را بگو.

      پاسخ نمونه و معیار ارزیابی

      برچسب واحد IRR با تومان مبدأ بدون تبدیل مورد تأیید جایگزین شده؛ تاریخ رشته‌ای بدون اعلام تقویم وارد شده است. باید unit=toman و calendar=jalali و منبع/قرارداد تبدیل صریح بماند؛ در ابهام NEEDS_REVIEW و توقف ارسال. معتبر بودن JSON صحت معنا را ثابت نمی‌کند.

      • تفاوت تومان/ریال را تشخیص می‌دهد. (1 امتیاز)
      • نوع تقویم و تاریخ را جدا می‌کند. (1 امتیاز)
      • توقف و کنترل قطعی پیش از ارسال می‌گذارد. (1 امتیاز)

        شناسهٔ `INV-204/ب` در جدول RTL برعکس نمایش داده می‌شود. آیا برای رفع مشکل باید ترتیب کاراکترها را در JSON عوض کرد؟ راه درست چیست؟

        پاسخ نمونه و معیار ارزیابی

        خیر. داده باید با همان ترتیب منطقی باقی بماند. در HTML جهت پایهٔ فارسی (dir="rtl") و برای شناسهٔ ترکیبی bdi یا dir="auto" استفاده می‌کنم؛ بلوک نمایش کد را LTR نگه می‌دارم. ترتیب منطقی خروجی قبل و بعد باید یکسان باشد.

        • از معکوس‌کردن رشته جلوگیری می‌کند. (1 امتیاز)
        • نمایش bdi و جهت پایه مناسب را ذکر می‌کند. (1 امتیاز)
        • تفاوت داده و نمایش را توضیح می‌دهد. (1 امتیاز)

          برای مقایسه دو مدل در امور اداری فارسی، چه پنج سناریویی و چه قاعده قبولی طراحی می‌کنی؟ چرا این نتیجه رتبه عمومی مدل‌ها نیست؟

          پاسخ نمونه و معیار ارزیابی

          پنج سناریو: نگارش ی/ي یا نیم‌فاصله، مبلغ/واحد، تاریخ شمسی، شناسهٔ دو‌جهته و یک گزارهٔ منفی فرهنگی. برای هرکدام پاسخ مرجع و دلیل/قاعده می‌نویسم؛ سه ستون صحت معنا، صحت قالب و دلیل را جدا می‌سنجم؛ حد تمرینی ۴/۵ همراه دروازه اجباری نبود تبدیل بی‌مجوز پول و تاریخ است. چون داده کوچک، محلی و ویژه کار ما است، رتبه‌بندی همگانی محسوب نمی‌شود.

          • پنج سناریوی متنوع و بومی می‌دهد. (1 امتیاز)
          • معیار قابل‌مشاهده و دروازه واحد/تقویم دارد. (1 امتیاز)
          • محدودیت تعمیم آزمون کوچک را توضیح می‌دهد. (1 امتیاز)

            ابزارها و جایگزین‌ها

            • ویرایشگر متن و اجرای محلی Python 3 — مقایسه نوشتار، Unicode، JSON و اجرای آزمون‌های رایگان؛ هیچ حساب یا API لازم نیست. — Notepad و بررسی دستی نمونه‌های داخل درس — VS Code محلی — ویرایشگر آنلاینِ بدون دادهٔ محرمانه (اگر از محل کاربر مجاز و در دسترس است)

            منابع

            Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language? Ghahroodi et al. / arXiv 2024-04-09؛ preprint در arXiv؛ نتایج به مدل‌ها و شرایط مطالعه محدود است

            FarsEval-PKBETS: A new diverse benchmark for evaluating Persian large language models Shamsfard et al. / arXiv 2025-04-20؛ preprint در arXiv؛ آزمایش مقاله روی سه مدل مشخص

            Unmasking the Factual-Conceptual Gap in Persian Language Models Sakhaeirad et al. / ACL SilkRoadNLP 2026-03؛ مقاله داوری‌شدهٔ کارگاهی؛ ۳۱۵ پرسش و ۷ مدل؛ محدود به این ارزیابی

            Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models Ahia et al. / EMNLP 2023-12؛ مقاله کنفرانس داوری‌شدهٔ EMNLP؛ ۲۲ زبان در آزمایش

            ISIRI 6219: Persian Information Interchange and Display Mechanism, using Unicode Institute of Standards and Industrial Research of Iran / FarsiWeb 2002؛ استاندارد ملی؛ معرفی و پیوند استاندارد؛ مقاله داوری‌شده نیست

            Unicode Standard Annex #9: Unicode Bidirectional Algorithm Unicode Consortium 2026-09-01؛ استاندارد Unicode 18.0.0 / Revision 52؛ مقاله داوری‌شده نیست

            Unicode Standard Annex #31: Unicode Identifier and Pattern Syntax Unicode Consortium مرجع استاندارد Unicode؛ به‌روز‌رسانی متغیر؛ نمونه Persian ZWNJ؛ مقاله داوری‌شده نیست؛ بررسی 2026-11-07

            Authoring HTML: Handling Right-to-left Scripts W3C Internationalization 2014؛ راهنمای فنی W3C؛ مقاله داوری‌شده نیست؛ بررسی 2026-11-07

            tiktoken: Open source tokenizer and example encodings OpenAI / GitHub ابزار متن‌باز؛ بدون مقاله داوری‌شده؛ بررسی 2026-11-07؛ مدل/نسخه ممکن است تغییر کند

            TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models Iranmanesh et al. / LREC 2026-05؛ مقاله داوری‌شدهٔ کنفرانس LREC؛ نتیجه محدود به ۳ مجموعه و ۱۵ مدل بررسی‌شده

            Supported countries and territories for OpenAI API OpenAI مستند رسمی ارائه‌دهنده، بدون داوری دانشگاهی؛ بررسی 2026-11-07؛ فهرست تغییرپذیر

            JSON Schema: Object Reference JSON Schema مرجع استاندارد JSON Schema؛ مقاله پژوهشی داوری‌شده نیست؛ بررسی 2026-11-07

            دوره

            هوش مصنوعی مولد را درست بفهم