جست‌وجوی فارسی: نرمال‌سازی، Embedding، BM25 و Rerank

موتور جست‌وجوی فارسی را با نرمال‌سازی برگشت‌پذیر، BM25، بازیابی معنایی، ادغام نتایج و Rerank طراحی کن؛ تفاوت بنچمارک عمومی و مجموعهٔ سؤال فارسی خودت را بشناس و یک آزمایش رایگان آفلاین انجام بده.

بعد از این درس می‌توانی

  • در ۶ زوج متن فارسی، یکسان‌سازی ی/ي و ک/ك، فاصله و نیم‌فاصله را بدون آسیب به کدهای دقیق بررسی کند (C03-I04، C06-I01).
  • برای پنج پرسش دارای کد، نام خاص و مفهوم، مزیت و ضعف BM25 و Embedding را جدا توضیح دهد (C04-I02، C03-I03).
  • در یک دادهٔ ساختگی، رتبه‌های BM25 و یک فهرست معناییِ برچسب‌خورده به‌صورت شبیه‌سازی را با RRF ادغام و سه نتیجهٔ اول را توضیح دهد (C05-I02، C02-I04).
  • تشخیص دهد Reranker کیفیت نامزدهای بازیابی‌شده را دوباره می‌سنجد و سند جامانده از نامزدها را خودبه‌خود کشف نمی‌کند (C03-I02).
  • فهرست آزمون حداقل ۱۰ پرسشی شامل نیم‌فاصله، کدها، نام خاص و ابهام بسازد و مدل‌ها را بر اساس دادهٔ محلی نه رتبهٔ جهانی انتخاب کند (C04-I03، C02-I03).

چرا این درس مهم است

موقعیت ساختگی: پشتیبانی شرکت نرم‌افزاری «هامون‌پرداز» پیام‌های «صورتحساب»، «صورت‌حساب» و «صورت حساب» را دریافت می‌کند. کاربر کد ERR-TAX-4092 می‌دهد، اما موتور معنایی به‌جای راهنمای همین کد، مقاله‌ای عمومی دربارهٔ خطای اتصال می‌آورد. مسئله فقط انتخاب «بهترین مدل» نیست؛ باید شکل نوشتاری فارسی، تطابق دقیق و معنی را کنار هم سنجید.

در این درس به‌جای ادعای ساخت Embedding واقعی در تمرین بدون مدل، دو مسیر را مستقل طراحی می‌کنی: BM25 واقعی با کتابخانهٔ استاندارد در یک نمونهٔ کوچک، و رتبهٔ معنایی شبیه‌سازی‌شده و آشکارا برچسب‌خورده برای فهم ادغام رتبه. برای مقایسهٔ مدل‌های واقعی لازم است مدل و دادهٔ محلی جداگانه آزمایش شوند.

مفاهیم کلیدی

[اصل پایدار] بازیابی واژگانی به نشانه‌های نوشتاری حساس است و بازیابی معنایی به نزدیکی بردارهای مدل؛ هر دو می‌توانند خطا کنند. اگر یک پرسش شماره ماده یا کد کالا دارد، تطبیق دقیق نباید پشت امتیاز معنایی گم شود.

  • [اصل پایدار] نرمال‌سازی فارسی: یکدست‌کردن انواع ی/ي، ک/ك و سیاست قابل آزمون برای فاصله و ZWNJ. نسخهٔ اصیل سند را نگه‌دار؛ نرمال‌سازی جست‌وجو را روی کپی اعمال کن.
  • [اصل پایدار] `BM25`: رتبه‌بندی واژگانی با وزن نادر بودن واژه، فراوانی و طول سند؛ برای شناسه‌ها و تطابق کلمه مهم است.
  • [اصل پایدار] `Embedding`: برداری از متن بر اساس مدل مشخص؛ برای تطابق مفهومی ممکن است کمک کند ولی در کد/عدد/اصطلاح تخصصی باید جدا آزمایش شود.
  • [اصل پایدار] `Hybrid Search`: ترکیب نتایج واژگانی و معنایی؛ باید روش ادغام مثل RRF یا نرمال‌سازی امتیاز روشن باشد.
  • [اصل پایدار] `Rerank`: رتبه‌بندی دقیق‌تر *نامزدهای موجود*. اگر سند مهم وارد نامزدها نشده باشد، رتبه‌بندی مجدد معجزه نمی‌کند.
  • [استاندارد] (پژوهش داوری‌شده) `MIRACL`: مقالهٔ داوری‌شدهٔ TACL 2023 مجموعهٔ بازیابی چندزبانهٔ ۱۸زبانه شامل فارسی را معرفی می‌کند؛ رتبهٔ آن به‌تنهایی ضمانت حوزهٔ واقعی نیستsrc-miracl.
  • [استاندارد] (پژوهش داوری‌شده) `FaMTEB`: مقالهٔ داوری‌شدهٔ Findings of EMNLP 2025 شامل ۶۳ مجموعه‌داده در ۷ وظیفه است؛ نسخهٔ arXiv قبل از کنفرانس پیش‌چاپ بودsrc-famteb.
  • [ابزار] (2026-11-07) جدول رتبهٔ مدل‌های `FaMTEB`: رتبه، نام مدل و نسخه دائماً قابل تغییرند؛ این درس هیچ «مدل شمارهٔ یک» بدون آزمایش محلی اعلام نمی‌کند.

مدل ذهنی

دو کارشناس بایگانی: کارشناس اول دقیقاً دنبال کلمه و کد می‌گردد (BM25)، دومی دنبال نزدیک‌ترین مفهوم (Embedding). مسئول سوم نتایج دو نفر را با قانونی روشن ترکیب می‌کند (RRF) و بازبین نهایی روی نامزدهای انتخاب‌شده دوباره امتیاز می‌دهد (Rerank).

جدا نگه‌داشتن نسخهٔ اصیل و «متن مخصوص جست‌وجو» مهم است: می‌توان نیم‌فاصله را در شاخص به فاصله تبدیل کرد، اما نباید نقل‌قول و نشانی قطعهٔ اصلی تغییر کند. برای کدهای فنی، توکن‌سازی ویژهٔ کد و حفظ نشانه - ممکن است ضروری باشد.

مرز تشبیه: کارشناسان ممکن است هر دو اشتباه کنند. «ترکیبی» نام یک روش است، نه گواهی بهتر بودن. با دادهٔ مرجع، زمان پاسخ و پرسش‌های فارسی خودت مقایسه کن؛ ارزیابی کمی در rag-failures-evals.

گام‌به‌گام

گام ۱: مسئلهٔ نوشتار فارسی را روی دادهٔ واقعی شبیه‌سازی کن

ورودی ۱ورودی ۲چالش
«كيش»«کیش»تبدیل ك به ک و ي به ی
«صورت‌حساب»«صورت حساب»سیاست یکسان‌سازی نیم‌فاصله برای جست‌وجو
«می‌رود»«میرود»بدون تحلیل واژگانی، یکی‌دانستن قطعی نیست
«ERR-TAX-4092»«ERR TAX 4092»جداکردن نشانه‌ها می‌تواند تطابق شناسه را خراب کند
«۱۲۴»«124»انتخاب سیاست ارقام و حفظ اصل سند

تست مهم: هر تغییری که به افزایش پوشش جست‌وجو کمک می‌کند، شاید چند واژهٔ متمایز را هم به اشتباه یکی کند. روی مجموعهٔ زوج‌های «باید برابر باشند / نباید برابر باشند» آزمون بساز.

گام ۲: `BM25` را از مدل معنایی جدا نگه دار

روشنوع سیگنالمناسب برایمحدودیت
BM25واژه/فراوانی/طولکد، نام خاص، واژهٔ دقیقمترادف‌های ناهم‌واژه را نمی‌فهمد
Dense Embeddingشباهت برداری حاصل از مدلشرح مفهومی، بازنویسی سؤالممکن است کد/عدد را گم کند
Hybridادغام خروجی هر دو مسیرپرسش‌های متنوع و نامعلومنیازمند کنترل وزن و تکرار نتایج
Cross-Encoderبررسی هم‌زمان پرسش/نامزدانتخاب دقیق از فهرست کوتاهسربار زمان و محدودیت تعداد نامزد

منبع اصلی: مقالهٔ MIRACL کیفیت بازیابی را در چند زبان می‌سنجد؛ FaMTEB سبد وظایف فارسی را گسترش می‌دهد. هیچ‌کدام ثابت نمی‌کنند که یک مدلِ رتبه‌اول عمومی در پزشکی یا قوانین ایران رتبه‌اول استsrc-miraclsrc-famteb.

گام ۳: با ابزار استاندارد Python نرمال کن و `BM25` را محاسبه کن

import math, re
from collections import Counter

def normalize(text):
    text = text.translate(str.maketrans("كي", "کی"))
    return re.sub(r"\s+", " ", text.replace("\u200c", " ")).strip().lower()

def tokens(text):
    return re.findall(r"[\w-]+", normalize(text), flags=re.UNICODE)

DOCS = {
 "A": "راهنمای خطای ERR-TAX-4092 در صورت‌حساب مالیاتی",
 "B": "نحوه بازیابی رمز عبور سامانه",
 "C": "مهلت اصلاح صورت حساب در خطاهای مالیاتی",
 "D": "توضیح روش ثبت صورتحساب مالیاتی"
}

def bm25(query, docs, k1=1.5, b=0.75):
    toks={k:tokens(v) for k,v in docs.items()}
    n=len(toks); avgdl=sum(map(len,toks.values()))/n
    terms=set(tokens(query)); df={t:sum(t in z for z in toks.values()) for t in terms}
    scores={}
    for key, words in toks.items():
        tf=Counter(words); dl=len(words)
        scores[key]=sum(math.log1p((n-df[t]+0.5)/(df[t]+0.5)) *
            (tf[t]*(k1+1)/(tf[t]+k1*(1-b+b*dl/avgdl)))
            for t in terms if tf[t])
    return sorted(scores, key=lambda k:(-scores[k],k))

assert normalize("كيش") == normalize("کیش")
assert normalize("صورت‌حساب") == normalize("صورت حساب")
assert bm25("ERR-TAX-4092", DOCS)[0] == "A"
print("BM25:", bm25("ERR-TAX-4092", DOCS))

کد بالا یک نمونهٔ آموزشی کوچک است؛ توکن‌سازش قواعد صرفی فارسی، حروف پیوندی، تاریخ‌های شمسی و همهٔ الگوهای کد را کامل پوشش نمی‌دهد. محاسبهٔ BM25 واقعی است، اما «سیستم بازیابی تولیدی» نیست.

گام ۴: دو فهرست را با `RRF` ادغام کن؛ مسیر معنایی ساختگی است

# نکته: semantic_rank شبیه‌سازیِ آموزشی است، نه نتیجهٔ مدل embedding.
lexical_rank = ["A", "C", "D", "B"]
semantic_rank = ["C", "A", "D", "B"]  # برچسب «شبیه‌سازی»

def rrf(rankings, offset=60):
    scores = {}
    for ranking in rankings:
        for pos, doc_id in enumerate(ranking, start=1):
            scores[doc_id] = scores.get(doc_id, 0) + 1/(offset+pos)
    return sorted(scores, key=lambda k: (-scores[k], k))

print("RRF (SIMULATED SEMANTIC):", rrf([lexical_rank, semantic_rank]))

برای استفادهٔ واقعی، semantic_rank باید خروجی یک مدل Embedding مناسب فارسی باشد. «RRF» فقط رتبه را می‌گیرد و امتیاز نامتجانس دو موتور را مستقیم جمع نمی‌کند. عدد پیش‌فرض offset=60 قراردادی رایج در مثال است، نه مقدار اثبات‌شده برای همهٔ مجموعه‌ها.

گام ۵: `Rerank` و خطای ناشی از نامزدهای ناقص

وضعیتنتیجهٔ درستخطای رایج
نامزد شامل سند درست استReranker می‌تواند آن را بالاتر ببردپیش‌فرض‌گرفتن بهترشدن قطعی
سند درست در topN نیستباید بازیاب اولیه یا اندازهٔ نامزد اصلاح شودانتظار پیدا کردن سند گمشده از Reranker
پرسش شامل کد دقیق استتطبیق کد را مستقل بررسی کنچشم‌پوشی از کد به نفع شباهت معنایی
متن فارسی دارای چند نگارش استگزارش نتایج پیش/پس نرمال‌سازیازبین‌بردن نسخهٔ اصلی

در مطالعهٔ داخلی Anthropic، بهبود ۶۷٪ به پیکربندی و داده‌های همان گزارش مربوط است. تعداد ۱۵۰ نامزد و ۲۰ خروجی آن آزمایش را نباید پیش‌فرض علمیِ فارسی دانستsrc-anthropic-contextual.

مثال‌ها

ردیف‌های شبیه‌سازی‌شده فقط برای فهم منطق ادغام هستند:

lexical: A(code exact), C(general), D(general), B(other)
semantic (SIMULATED): C, A, D, B
RRF: رتبه‌های مشترک جمع می‌شوند
قرارداد خروجی: TOP_CANDIDATES + برچسب «منبع دادهٔ معنایی ساختگی»
ممنوع: «Embedding مدل X اجرا و تأیید شد»

پیاده‌سازی عملی

هر دو مسیر به خروجی مشترک «رتبهٔ پنج سند برای پنج پرسش» می‌رسند. مسیر Python بدون نصب پکیج خارجی قابل انجام است؛ در هیچ مسیری ادعای اجرای مدل Embedding واقعی نمی‌کنیم.

مسیر جدول دستی

چهار متن ساختگی A تا D را از بلوک کد بالا بخوان.

  1. برای عبارت «صورت‌حساب» دو نگارش بساز؛ با و بدون نرمال‌سازی تطابق‌ها را ثبت کن.
  2. برای پنج سؤال شامل کد، نام، مترادف، غلط املایی و پرسش ناموجود، رتبهٔ واژگانی تقریبی مشخص کن.
  3. فهرست معنایی فرضی و برچسب‌خورده بساز و با فرمول 1/(60+rank) ادغام کن.
  4. دو خطا یا مورد نابرابری معنایی را ثبت و به‌جای ادعای برتری، آزمون بعدی پیشنهاد بده.

معیار پذیرش: ۵ پرسش، دو فهرست و امتیاز ادغام ثبت شود؛ هیچ رتبهٔ فرضی به مدل واقعی نسبت داده نشود.

مسیر Python آفلاین

دو قطعه کد normalize/bm25 و rrf را در یک فایل اجرا کن.

  1. سه assert نرمال‌سازی و رتبهٔ کد را بررسی کن.
  2. برای پرسش «رمز عبور» و «خطای مالیاتی» رتبهٔ BM25 را بنویس.
  3. دو ترتیب فرضی متفاوت برای semantic_rank بده؛ تغییر خروجی RRF را مشاهده کن.
  4. یک جفت که نباید با نرمال‌سازی یکی شود اضافه کن و نتیجه را ثبت کن.

معیار پذیرش: سه تست اولیه اجرا شود؛ دادهٔ معنایی صراحتاً شبیه‌سازی شده باشد و کد واقعی در رتبهٔ واژگانی دیده شود.

مرحلهٔ بعد از کارگاه (بدون انجام در این درس): در محیطی مجاز و با دادهٔ غیرحساس، دو Embedding نامزدِ متناسب با فارسی را روی مجموعهٔ پرسش خودت مقایسه کن؛ رتبه‌های FaMTEB فقط برای غربال اولیه‌اند.

اشتباه‌های رایج

اشتباهچرا خطاست؟اصلاح سنجش‌پذیر
انتخاب مدل از روی رتبهٔ انگلیسیحوزه و زبان آزمون متفاوت استچند مدل را روی پرسش فارسی خودت تست کن
حذف نیم‌فاصله در متن اصلیردیابی نقل‌قول و نمایش خراب می‌شوداصل متن را جدا از شاخص حفظ کن
«Hybrid همیشه بهتر است»ممکن است هزینه بالا رود یا رتبه افت کندبا BM25-only و dense-only مقایسه کن
جمع مستقیم دو امتیاز نامتجانسمقیاس نمره‌ها با هم فرق دارداز ادغام رتبه یا کالیبراسیون مستند استفاده کن
فرض اینکه Rerank شاهد گمشده را می‌آوردفقط نامزدها را بازرتبه‌بندی می‌کندپوشش topN را اول اندازه بگیر
نسبت‌دادن RRF تمرین به مدل واقعیفهرست معنایی آموزشی ساختگی استصریح SIMULATED درج کن

عیب‌یابی

خطای حاوی کد دقیق دیده نمی‌شود.

جداکردن خط تیره یا حذف قطعهٔ کد در توکن‌ساز.

توکن‌های حاصل از کد و نتیجهٔ BM25 را چاپ کن.

کد را به‌عنوان توکن/فیلد دقیق حفظ کن؛ آزمون رگرسیون بساز.

«صورت‌حساب» و «صورت حساب» نتایج متفاوتی دارند.

نرمال‌سازی دو مسیر شاخص/پرسش هماهنگ نیست.

پیش از رتبه‌بندی متن نرمال‌شدهٔ هر دو را مقایسه کن.

سیاست واحد برای نمایه و پرسش، همراه نگهداری اصل متن اعمال کن.

ترکیب دو بازیاب از هرکدام بدتر شده.

وزن/رتبه/مجموعهٔ نامزدها با دادهٔ محلی تنظیم نشده.

خطاها را برحسب نوع سؤال تفکیک کن.

BM25-only/dense-only/hybrid را روی همان gold set مقایسه کن.

Reranker نتیجهٔ موردنظر را پیدا نمی‌کند.

قطعهٔ صحیح در نامزدهای ورودی نیست.

لیست topN پیش از Rerank را ببین.

مرحله بازیابی و نرمال‌سازی را اصلاح کن؛ سپس رتبه‌بندی مجدد را بسنج.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 10 دقیقه

تمرین ۱۰ دقیقه‌ای: جفت‌های «كيش/کیش»، «صورت‌حساب/صورت حساب»، «ERR-TAX-4092/ERR-TAX-4093»، «۱۲/12» و «رمز عبور/بازیابی گذرواژه» را در نظر بگیر.

  1. سه جفت را که نرمال‌سازی نوشتاری می‌تواند هماهنگ کند مشخص کن؛ دو جفت حساس را جدا نگه دار.
  2. برای کد و مترادف، مسیر واژگانی یا معنایی اولیه انتخاب کن.
  3. توضیح بده چرا نیاز به gold set وجود دارد.

معیار پذیرش: دو جفت حساس یکسان فرض نشوند و برای دو نوع پرسش، روش مناسب و محدودیت آن بیان شود.

راه‌حل نمونه
  • كيش/کیش و صورت‌حساب/صورت حساب مناسب هماهنگ‌سازی در شاخص هستند؛ ارقام ممکن است با سیاست روشن هماهنگ شوند.
  • دو کد متفاوت هرگز یکسان نیستند؛ «رمز عبور/گذرواژه» شباهت معنایی است، نه نتیجهٔ قطعی نرمال‌سازی ساده.
  • برای کد دقیق BM25/exact-match و برای مترادف آزمون Embedding مفید است؛ نتیجه باید در پرسش‌های نمونه اندازه‌گیری شود.

چالش

تمرین · 30 دقیقه

چالش طراحی فارسی: موتور جست‌وجوی داخلی شرکت ساختگی هامون‌پرداز به ۱۰ سؤال متنوع پاسخ می‌دهد؛ از متن‌های مصنوعی استفاده کن.

  1. مجموعهٔ ۱۰ سؤال شامل ۳ کد، ۲ نیم‌فاصله، ۲ مترادف، ۲ اسم خاص و ۱ پرسش خارج از منابع بساز.
  2. برای هر سؤال یک سند مرجع «مرتبط» و یک «منفی سخت» مشخص کن؛ برچسب‌ها فرضی و آشکارا ساختگی‌اند.
  3. در ۲ سؤال خروجی BM25 را با کد یا جدول تولید کن و فهرست معنایی شبیه‌سازی‌شده را مشخصاً برچسب بزن.
  4. با RRF دو فهرست را ترکیب و ۳ نامزد اول را ثبت کن؛ یک مورد را برای Rerank دستی بر اساس متن پرسش بازبینی کن.
  5. به‌عنوان طرح توسعه، معیارهای Recall@K و تأخیر قابل اندازه‌گیری برای آزمون مدل واقعی تعیین کن، اما نتیجهٔ واقعی اعلام نکن.

معیار پذیرش: ۱۰ سؤال برچسب‌دار، رتبه/توضیح دست‌کم دو سؤال، ادغام شفاف و حداقل یک منفی سخت؛ هیچ ادعای اجرای Embedding واقعی وجود نداشته باشد.

راه‌حل نمونه
  • کد دقیق باید به سند همان کد اشاره کند؛ قطعهٔ کد مشابه (4093) منفی سخت است.
  • نرمال‌سازی ی/ک/نیم‌فاصله را در هر دو سمت یکسان و اصل سند را بدون تغییر نگه دار.
  • اگر نمونهٔ مورد انتظار در نامزد اولیه نباشد، بهبود Rerank ممکن نیست؛ باید بازیابی را اصلاح کرد.

پرسش‌های سنجش

جمع‌بندی

  • نرمال‌سازی فارسی مهم است ولی نباید شناسه‌های متمایز را نابود کند.
  • BM25 و Embedding سیگنال‌های متفاوت‌اند؛ ادغام را با قانون و آزمون روشن انجام بده.
  • Rerank فقط نامزدهای موجود را مرتب می‌کند.
  • FaMTEB داوری‌شده و ارزشمند است، اما رتبه‌اش جانشین آزمون دامنهٔ کار نیست.
  • تمرین معنایی این درس شبیه‌سازی‌شده است و ادعای مدل اجراشده ندارد.

خروجی قابل تحویل

فهرست آزمون فارسی ۱۰تایی، سیاست نرمال‌سازی، رتبهٔ واژگانی نمونه، ادغام RRF شبیه‌سازی‌شده و طرح ارزیابی واقعی برای rag-failures-evals.

منابع پشتیبان این درس: RAGAs: Automated Evaluation of Retrieval Augmented Generationsrc-ragas.

پرسش‌های سنجش

در جست‌وجوی کد `ERR-TAX-4092` کدام گزاره دقیق‌تر است؟

  • Embedding همیشه کد را بهتر تشخیص می‌دهد
  • به یک مدل در رتبهٔ اول FaMTEB اعتماد کامل می‌کنیم
  • تطابق دقیق/BM25 را جدا می‌سنجیم و ترکیب را آزمون می‌کنیم
  • برای حل مسئله باید نیم‌فاصلهٔ متن اصیل را حذف کرد
پاسخ نمونه و معیار ارزیابی
  • a ← بردار معنایی ممکن است شناسه را نادیده بگیرد.
  • b ← بنچمارک عمومی جای ارزیابی دامنه را نمی‌گیرد.
  • d ← اصل سند نباید برای رتبه‌بندی تخریب شود.

جست‌وجوی «كیش» سند «کیش» را پیدا نکرده. دو کنترل و اصلاح بنویس.

query="كيش"
document="قوانین کیش"
پاسخ نمونه و معیار ارزیابی

در متن نمایه و پرسش یکسان‌سازی ك/ک و ي/ی را بررسی کن؛ نسخهٔ اصیل را دست‌نخورده نگه‌دار و جفت را به آزمون رگرسیون اضافه کن.

  • دو طرف شاخص/پرسش را بررسی می‌کند (1 امتیاز)
  • نرمال‌سازی متقارن پیشنهاد می‌دهد (1 امتیاز)
  • اصل سند و تست را حفظ می‌کند (1 امتیاز)

    با `RRF` دو فهرست `A,B,C` و `B,A,C` را ترکیب کردی؛ آیا مدل معنایی واقعاً اجرا شده است؟

    پاسخ نمونه و معیار ارزیابی

    خیر، اگر فهرست دوم دستی/فرضی باشد فقط ادغام رتبه آموزش داده شده؛ برای ادعای اجرای embedding باید نام مدل/نسخه و خروجی واقعی آن ثبت شود.

    • شبیه‌سازی را تشخیص می‌دهد (1 امتیاز)
    • تفاوت ادغام با embedding را شرح می‌دهد (1 امتیاز)
    • برای ادعای واقعی شاهد اجرا می‌خواهد (1 امتیاز)

      چرا بهترین مدل در `MTEB` انگلیسی لزوماً بهترین موتور جست‌وجوی مالیاتی فارسی نیست؟

      پاسخ نمونه و معیار ارزیابی

      زبان، حوزه، خط و نوع پرسش متفاوت‌اند؛ FaMTEB و MIRACL برای غربال مفیدند، ولی باید مدل‌ها، BM25 و ترکیب را روی پرسش و اسناد مالیاتی محلی با برچسب مرجع مقایسه کرد.

      • تفاوت زبان و دامنه را می‌گوید (1 امتیاز)
      • بنچمارک را درست محدود می‌کند (1 امتیاز)
      • آزمون محلی مقایسه‌ای پیشنهاد می‌دهد (1 امتیاز)

        مدل `Reranker` روی ۲۰ نامزد کار می‌کند ولی سند صحیح در رتبهٔ ۲۱ بازیاب است. اقدام منطقی؟

        پاسخ نمونه و معیار ارزیابی

        اول پوشش topN بازیاب را با gold set بسنج و نامزدهای اولیه/نرمال‌سازی را اصلاح یا به‌اندازهٔ آزمایشی افزایش بده؛ Reranker قادر به آوردن سندِ خارج از ورودی نیست.

        • محدودیت candidate set را می‌گوید (1 امتیاز)
        • بهبود retrieval را پیش از rerank می‌گذارد (1 امتیاز)
        • به جای عدد ثابت، آزمون کیفیت/هزینه پیشنهاد می‌کند (1 امتیاز)

          ابزارها و جایگزین‌ها

          • ویرایشگر متن و جدول محلی — تهیه ماتریس تصمیم، پاسخ تمرین و آزمون بدون اشتراک — LibreOffice — Notepad — Excel آفلاین — مداد و کاغذ
          • Python 3 (اختیاری) — اجرای نرمال‌سازی، امتیازدهی واژگانی ساده و ادغام رتبه‌ها؛ بدون شبکه — جدول دستی برای رتبه‌بندی و RRF

          منابع

          MIRACL: A Multilingual Retrieval Dataset Covering 18 Diverse Languages Zhang et al. / TACL 2023؛ جلد ۱۱، ص ۱۱۱۴–۱۱۳۱؛ وضعیت: مقالهٔ داوری‌شده؛ بررسی منبع در 2026-11-07

          FaMTEB: Massive Text Embedding Benchmark in Persian Language Zinvandi et al. / Findings of EMNLP 2025-11؛ ص ۱۱۴۴۱–۱۱۴۶۸؛ وضعیت: مقالهٔ داوری‌شده؛ نسخهٔ arXiv فوریهٔ ۲۰۲۵ پیش‌چاپ بوده؛ بررسی منبع در 2026-11-07

          Introducing Contextual Retrieval Anthropic Engineering 2024-09-19؛ وضعیت: یادداشت فنیِ منتشرشده توسط ارائه‌دهنده؛ بدون داوری علمی مستقل؛ بررسی منبع در 2026-11-07

          RAGAs: Automated Evaluation of Retrieval Augmented Generation Es et al. / EACL Demos 2024؛ وضعیت: مقالهٔ داوری‌شدهٔ بخش نمایش (demo)؛ نسخهٔ arXiv 2023 پیش‌چاپ؛ بررسی منبع در 2026-11-07

          OWASP GenAI LLM Top 10 2026 OWASP GenAI Security Project 2026-08-03 (صفحهٔ انتشار)؛ وضعیت: راهنمای امنیتی جامعه OWASP؛ استاندارد گواهی یا مطالعهٔ داوری‌شده نیست؛ بررسی منبع در 2026-11-07

          دوره

          وصل‌کردن مدل به دانش: RAG، جست‌وجوی فارسی و حافظه