شکست‌های RAG و سنجش آن

شکست بازیابی را از شکست تولید جدا کن، استناد جعلی و نسخهٔ کهنه و منفی سخت را تشخیص بده؛ با Recall@K، nDCG@K و ارزیابی وفاداری به منبع، یک مجموعهٔ آزمون آفلاین و گزارش صادقانه بساز.

بعد از این درس می‌توانی

  • برای ۵ سناریوی خطا، در ۴ مورد دست‌کم علت را به بازیابی، رتبه‌بندی، تولید، دادهٔ کهنه یا مجوز نسبت دهد (C02-I01، C06-I01).
  • Recall@K و Precision@K را در دو مثال دارای مجموعهٔ مرجع محاسبه و مخرج‌ها را روشن کند (C03-I02، C06-I01).
  • توضیح دهد nDCG@K نسبت به رتبه حساس است و برای هر پرسش بدون برچسب مرجع قابل ادعای معتبر نیست (C02-I03).
  • برای ۳ ادعای نمونه، تطبیق قطعی استناد را از داوری معنایی Faithfulness جدا کند و مورد بدون شاهد را رد کند (C06-I02، C02-I05).
  • یک مجموعهٔ ۱۰تایی شامل منفی سخت، نسخهٔ کهنه، تزریق، سؤال بی‌پاسخ و مجوز نامعتبر بسازد و بعد از تغییر، همان آزمون را تکرار کند (C05-I05، C06-I04).

چرا این درس مهم است

داستان ساختگی: دستیار بخش خدمات «آریاگستر» با اطمینان نوشته «مهلت ارسال صورت‌حساب ۳۰ روز است» و کنار پاسخ شناسهٔ سند گذاشته. ممیز می‌بیند قطعهٔ بازیابی‌شده مربوط به نسخهٔ ۱۴۰۳ است و متنِ ۱۴۰۵ چیز دیگری می‌گوید. آیا خطا از «یافتن سند»، «انتخاب نسخه»، «استنتاج مدل» یا چند قسمت بوده؟ اگر نتوانی بخش شکست را جدا کنی، هر تغییر در پرامپت هم ممکن است ظاهراً نتیجه را بهتر کند و مشکل اصلی بماند.

در این درس نتایج را از روی برچسب‌های مرجع ساختگی و محاسبهٔ مستقل می‌سنجی؛ اجرای یک مدل داور یا سنجش واقعی سامانهٔ سازمانی ادعا نمی‌شود. تمرکز بر تشخیص خطا و گزارش با مخرج صریح است؛ طراحی اصلی شاخص و متن فارسی در persian-hybrid-search انجام شد.

مفاهیم کلیدی

[اصل پایدار] یک جواب نادرست ممکن است از نبود شواهد لازم در خروجی جست‌وجو، انتخاب شواهد کم‌کیفیت یا خواندن نادرستِ شواهد توسط مدل ناشی شود. بدون ردپای هر گام نمی‌توان مسئول خطا را قطعی تعیین کرد.

  • [اصل پایدار] `Retrieval Failure`: قطعهٔ لازم در نامزدهای topK نیست؛ گاهی به علت نرمال‌سازی، نسخه، مجوز یا ابهام پرسش.
  • [اصل پایدار] `Hard Negative`: قطعهٔ بسیار مشابه از نظر ظاهر یا واژه‌ها، اما نامعتبر برای سؤال؛ در دادهٔ حقوقی و مالیاتی خطرناک است.
  • [اصل پایدار] `Citation Fabrication`: شناسه یا نقل‌قولی که در شواهد واقعی وجود ندارد؛ JSON Schema صرفاً قالب را تضمین می‌کند.
  • [اصل پایدار] `Temporal Drift`: نسخه/تاریخ منسوخ؛ ممکن است پاسخ کاملاً وفادار به سند قدیمی ولی برای امروز غلط باشد.
  • [اصل پایدار] `Recall@K`: تعداد اسناد مرتبط بازیابی‌شده در topK ÷ همهٔ اسناد مرتبطِ مشخص‌شده در gold set؛ فقط وقتی مجموعهٔ مرتبط شناخته است.
  • [اصل پایدار] `Precision@K`: تعداد اسناد مرتبطِ topK ÷ تعداد نتایج بررسی‌شده تا K؛ nDCG@K به جایگاه و درجات ارتباط وزن می‌دهد.
  • [استاندارد] (پژوهش داوری‌شده) `RAGAs`: چارچوب معرفی‌شده در مقالهٔ داوری‌شدهٔ EACL Demos 2024 برای ارزیابی جنبه‌های بازیابی و وفاداری؛ «داور مدل» خطای خود را داردsrc-ragas.
  • [ابزار] (2026-11-07) `Ragas` metrics: مستند فعلی سنجه‌های Faithfulness، Context Precision، Context Recall و Response Relevancy دارد؛ آنها یک عدد واحدِ تضمین‌کنندهٔ صحت نیستند و نام/پارامتر نسخه‌پذیر استsrc-ragas-metrics.

مدل ذهنی

دو دروازه: دروازهٔ اول «آیا مدرک معتبر رسید؟» مربوط به بازیاب است؛ دروازهٔ دوم «آیا پاسخ واقعاً از همین مدرک نتیجه می‌شود؟» مربوط به تولید. پیش از دروازهٔ اول، اعتبار نسخه و مجوز هم باید بررسی شود.

روی پنج سؤال، اگر چهار سؤال سند درست را پیدا کنند، پوشش پاسخ‌دار در نمونه چهار از پنج است؛ اما این عدد را بی‌دلیل Recall@K ننام، چون Recall@K دربارهٔ همهٔ اسناد مرتبطِ هر پرسش تعریف می‌شود. اگر هر پرسش یک سند gold دارد، می‌توان میانگین hit را با ذکر فرض گزارش کرد.

مرز مدل داور: Faithfulness به حمایت گزاره‌ها توسط متن بازیابی‌شده مربوط است، نه لزوماً حقیقت جهان بیرون یا تازگی سند. تردید را صریح نگه دار و برای ادعاهای حساس ممیزی انسانی مستقل قرار بده.

گام‌به‌گام

گام ۱: ماتریس «کدام گام خراب شد» بساز

نشانهلایهٔ محتملشاهد لازماصلاح
سند لازم غایببازیابیgold_ids در مقابل retrieved_idsنرمال‌سازی، فیلتر یا نامزدها
سند درست رتبهٔ پایینرتبه‌بندیrank سند و nDCG@Kترکیب و Rerank را بسنج
شاهد وجود دارد اما پاسخ ناسازگار استتولید/استدلالادعای پاسخ در برابر نقل‌قولکنترل وفاداری و توقف
سند ۱۴۰۳ به‌جای ۱۴۰۵نسخه/زمانeffective_at, statusفیلتر نسخهٔ فعال و تاریخ
قطعهٔ محرمانه افشا می‌شودکنترل دسترسیهویت و فیلتر واقعی قبل از تولیدرد درخواست در لایهٔ قطعی

هر خطا را با ردیابی query_id، نسخهٔ شاخص، شناسهٔ قطعات و وضعیت تولید ذخیره کن؛ متن محرمانه را برای لاگ لازم ندان.

گام ۲: معیارهای قابل محاسبهٔ بازیابی را درست تعریف کن

سنجهصورت/مخرجحدود تفسیر
Recall@K|gold ∩ topK| / |gold|نیاز به همهٔ اسناد مرجع مرتبط دارد
Precision@K|gold ∩ topK| / |topK|در رتبه‌بندی و اندازهٔ K حساس است
Hit@Kآیا حداقل یک سند gold در topK هست؟با Recall برابر نیست مگر وضعیت خاص
nDCG@KDCG@K / IDCG@K با وزن رتبه و درجه ارتباطدر نبود داوری ارتباط یا IDCG=0 نامعین است
Faithfulnessپشتیبانی گزاره‌های پاسخ با متن بازیابی‌شدهمعنایی و وابسته به کیفیت داور؛ حقیقت بیرونی نیست

توجه به خطای PDF: فرمول 1 - Recall@20 فقط وقتی معنای نرخ شکست بازیابی را دارد که تعریف Recall و واحد ارزیابی همان آزمایش مشخص باشد؛ مقالهٔ Anthropic آن را برای ارزیابی خاص خود به کار برده است، نه یک تعریف جهان‌شمول نرخ شکست تمام RAGهاsrc-anthropic-contextual.

گام ۳: دادهٔ آزمون مصنوعی را با محاسبهٔ مستقل بسنج

from math import log2

def retrieval_metrics(gold, retrieved, k):
    top = retrieved[:k]
    found = len(set(top) & set(gold))
    recall = found / len(set(gold)) if gold else None
    precision = found / len(top) if top else None
    dcg = sum((1/log2(i+2)) for i,doc in enumerate(top) if doc in set(gold))
    ideal = sum(1/log2(i+2) for i in range(min(k,len(set(gold)))))
    ndcg = dcg/ideal if ideal else None
    return {'recall':recall,'precision':precision,'ndcg':ndcg}

result = retrieval_metrics({'DOC-1','DOC-4'}, ['DOC-1','DOC-3'], 2)
assert result['recall'] == 0.5
assert result['precision'] == 0.5
assert 0 < result['ndcg'] < 1
print(result)

این تابع nDCG@K را فقط برای ارتباط دودویی و مجموعهٔ gold کامل حساب می‌کند؛ نمره‌های چندسطحی و توافق داوران را پوشش نمی‌دهد. gold خالی با None ثبت می‌شود، نه صفرِ ساختگی.

گام ۴: بررسی استناد را از وفاداری ادعا جدا کن

پرسشکنترل خودکار ممکن؟کنترل تکمیلی
آیا chunk_id در همان اجرای مجاز بود؟بله؛ تطبیق مجموعهٔ شناسهنسخه و مجوز هنوز بررسی شوند
آیا نقل‌قول عیناً در متن قطعه هست؟بله؛ تطبیق رشته با قاعدهٔ روشنبه هم‌ریختگی استخراج PDF جدا مدیریت شود
آیا ادعا از نقل‌قول واقعاً نتیجه می‌شود؟نه فقط با substringداوری معنایی مدل/انسان با شاهد
آیا نسخهٔ شاهد امروز معتبر است؟با متادیتای مورد تأیید ممکن استتاریخ پرسش و تغییر مقررات را کنترل کن

[استاندارد] (پژوهش داوری‌شده) RAGAs دربارهٔ ابعاد مختلف ارزیابی است و مستند ابزار Ragas دربارهٔ پیاده‌سازی سنجه‌ها. آنها «حکم قاطع مستقل از مدل داور» نیستندsrc-ragassrc-ragas-metrics.

گام ۵: گزارش را با مخرج، شکست و دادهٔ بررسی‌نشده بنویس

Evaluation run: local-synthetic-2026-11-07
Queries: total=10, labeled=8, unreviewed=2
Retrieval: Recall@3 = computed only on 8 labeled queries with known gold
Generation: citations_checked=6, citations_accepted=4, rejected=2
Critical gates: forbidden_document_retrieved=0 in this synthetic test
Caveat: no LLM execution, no real production dataset, no paid model eval
Decision: repeat with held-out Persian examples before deployment

مثال‌ها

دو اجرای فرضی با ظاهر یکسان اما علت کاملاً متفاوت:

RUN-A: retrieved=[DOC-1403]; gold=[DOC-1405]; answer="۳۰ روز" → RETRIEVAL/VERSION FAILURE
RUN-B: retrieved=[DOC-1405]; answer="۳۰ روز"; quote contains no deadline → GENERATION/FAITHFULNESS FAILURE
RUN-C: retrieved=[]; answer="اطلاعات کافی نیست" → EXPECTED ABSTENTION

پیاده‌سازی عملی

ابتدا با جدول دستی خروجیِ ۵ پرسش را با gold set مقایسه کن؛ سپس اگر Python داری، فرمول‌های بخش قبل را اجرا کن. هیچ داور مدل و دادهٔ حقیقی در این درس اجرا نمی‌شود.

مسیر جدول دستی

پنج ردیف با gold_ids، retrieved_ids، پاسخ و quote ساختگی طراحی کن.

  1. برای هر ردیف Recall@2 و Precision@2 با داشتن مجموعهٔ همهٔ اسناد مرتبط حساب کن.
  2. سه حالت «سند غایب»، «سند موجود اما ادعا غلط» و «سند قدیمی» را با برچسب‌های جدا ثبت کن.
  3. یک سؤال بی‌پاسخ داشته باش و پاسخ درست آن را «اطلاعات کافی نیست» تعریف کن.
  4. نتیجه را همراه مخرج و تعداد سؤال بررسی‌نشده بنویس.

معیار پذیرش: برای ۴ مورد از ۵ ردیف علت صحیح و شواهد لازم را بیان می‌کند؛ به پرسش بی‌پاسخ جواب ساختگی نمی‌دهد.

مسیر Python آفلاین

کد retrieval_metrics را با پنج ورودی ساختگی اجرا کن.

  1. حالت دو سند gold با یکی بازیابی‌شده و حالت همهٔ اسناد بازیابی‌شده را بساز.
  2. gold خالی را تست کن و بررسی کن خروجی recall=None است، نه صفر.
  3. ردیف‌ها را برای k=1 و k=2 مقایسه کن و نقش رتبه را در nDCG توضیح بده.
  4. محاسبه را به فهرست آزمون‌ها وصل و قبل از اصلاح پایگاه کپی کن.

معیار پذیرش: دو عدد ۰٫۵ نمونه درست‌اند؛ تقسیم بر صفر رخ نمی‌دهد؛ خروجی پرسش فاقد gold با None گزارش می‌شود.

برای سنجش واقعی RAG: از پرسش‌های جدا از دادهٔ توسعه استفاده کن، روی نسخهٔ ثابت کد/شاخص ارزیابی بگیر، حداقل بخشی از برچسب‌های داور مدل را انسان بازبینی کند و پیش از انتشار گیت‌های ایمنی را جدا بررسی کند.

اشتباه‌های رایج

اشتباهچرا خطاست؟اصلاح سنجش‌پذیر
Recall@K را «دقت پاسخ» نامیدنبازگردانی سند با تولید جواب درست فرق داردمعیار مرحله بازیابی را مستقل گزارش کن
میانگین گرفتن از goldهای خالی به‌عنوان صفرمخرج تعریف نشده و آمار گمراه می‌شودN/A و تعداد بررسی‌نشده را جدا بنویس
رضایت به شناسهٔ سند در خروجیشناسه می‌تواند جعلی یا نادرست باشدشناسه/نسخه/quote را قطعی کنترل کن
نمرهٔ داور مدل به‌عنوان حقیقتداور هم می‌تواند اشتباه کندنمونهٔ انسانی و تست منفی سخت داشته باش
قانون ۱۴۰۳ را برای ۱۴۰۵ معتبر دانستنوفاداری به سند کهنه به معنای صحت امروز نیستتاریخ مؤثر و status را جدا بسنج
گزارش فقط میانگین نمرهخطای افشای یک سند محرمانه در میانگین گم می‌شودگیت ممنوعیت مستقل از امتیاز میانگین باشد

عیب‌یابی

Recall@2 صفر شده ولی پاسخ کوتاه و روان است.

مدل از دانش پیشین پاسخ داده یا سند مناسب بازیابی نشده.

مقایسهٔ gold_ids و retrieved_ids را انجام بده.

بازیابی را اصلاح یا پاسخ نامطمئن/بی‌شاهد را متوقف کن.

استناد واقعی است ولی رقم غلط به آن نسبت داده شده.

تطبیق رشته به‌جای وفاداری معنایی استفاده شده.

ادعا را با متن شاهد مستقل بخوان.

داوری معنایی و در کار حساس بازبینی انسانی اضافه کن.

پس از آپدیت سند، نمرهٔ سیستم بدتر شد.

gold set یا شاخص هنوز نسخهٔ قدیمی را دارد.

تاریخ و نسخهٔ سند در gold و شاخص را تطبیق بده.

دادهٔ مرجع/شاخص را نسخه‌بندی و رگرسیون را تکرار کن.

امتیاز میانگین خوب است ولی یک پاسخ محرمانه افشا شد.

میانگین خطای حیاتی را پنهان کرده.

گیت مجوز را روی همان اجرای آسیب‌زا بررسی کن.

تا رفع کنترل دسترسی انتشار را متوقف کن؛ میانگین جای گیت نیست.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 10 دقیقه

تمرین: gold مرتبط = {D1, D4} و top2 = [D1, D3]. پاسخ مدل به D1 استناد می‌دهد، ولی رقم اعلام‌شده در متن D1 دیده نمی‌شود.

  1. Recall@2 و Precision@2 را حساب کن.
  2. مشکل بازیابی و تولید را جدا بیان کن.
  3. برای پرسشی که اصلاً gold ندارد، تصمیم گزارش را بنویس.

معیار پذیرش: هر دو عدد ۰٫۵ و دو لایهٔ خطا جدا گفته شود؛ gold خالی با صفر جایگزین نشود.

راه‌حل نمونه
  • Recall@2 = 1/2 = 0.5 و Precision@2 = 1/2 = 0.5.
  • سند D4 بازیابی نشده (خطای پوشش)؛ رقم بدون شاهد در D1 (خطای وفاداری/تولید).
  • اگر gold واقعاً تعریف نشده است، N/A و علت را گزارش کن؛ اگر سؤال ذاتاً پاسخ ندارد، آزمون خودداری جدا طراحی کن.

چالش

تمرین · 30 دقیقه

چالش ممیزی: برای یک سیستم RAG ساختگی، ۱۰ پرسش و ۱۲ قطعه با نسخه و مجوز تهیه کن؛ لازم نیست مدل زبانی فراخوانی شود.

  1. ۱۰ سناریو را پوشش بده: ۳ معمولی، ۲ منفی سخت، ۱ نسخهٔ قدیمی، ۱ بی‌پاسخ، ۱ استناد جعلی، ۱ نقش نامجاز و ۱ تزریق متن.
  2. برای ۸ سناریوی برچسب‌دار gold_ids و retrieved_ids بساز و Recall@3/Precision@3 را حساب کن؛ دو سناریوی بررسی‌نشده را جدا اعلام کن.
  3. برای ۳ ادعا، chunk_id، quote و قضاوت معنایی را در ستون‌های جدا ثبت کن.
  4. ماتریس علت خطا را برای دست‌کم ۵ مورد و تصمیم توقف روی افشا/مجوز را بنویس.
  5. دو نسخهٔ «قبل/بعد تغییر بازیاب» را با همان دادهٔ مرجع مقایسه کن؛ از بهبودِ فرضی به‌عنوان نتیجهٔ اجرا نام نبر.

معیار پذیرش: ۱۰ مورد، هشت gold معتبر، محاسبه با مخرج صریح، سه بررسی استناد و گیت حریم خصوصی مستقل ثبت شود؛ هیچ ادعای اجرای سامانهٔ واقعی وجود نداشته باشد.

راه‌حل نمونه
  • در حالت مرجع {D1,D4} و [D1,D3]، هر دو Recall و Precision در ۲ برابر ۰٫۵ می‌شوند.
  • نسخهٔ کهنه → خطای زمان/شاخص؛ سند غایب → بازیابی؛ استناد ناسازگار → تولید؛ سند محرمانه → توقف مستقل.
  • برای دو سناریوی بدون برچسب/بررسی، وضعیت UNREVIEWED و دلیل ثبت شود؛ آمار صرفاً روی ردیف‌های واجد تعریف محاسبه شود.

پرسش‌های سنجش

جمع‌بندی

  • بازیابی، کیفیت سند، وفاداری پاسخ و مجوز چهار مسئلهٔ مستقل‌اند.
  • Recall و Precision با gold تعریف‌شده محاسبه می‌شوند؛ جای دقت پاسخ نیستند.
  • RAGAs چارچوب مفید است، نه داور بی‌خطا.
  • مورد بی‌جواب، استناد جعلی و افشای اطلاعات باید گیت مستقل داشته باشند.

خروجی قابل تحویل

یک مجموعهٔ آزمون ۱۰تایی با برچسب‌های مرجع، سنجه‌های بازیابی، ستون بررسی استناد و گزارش خطا/گیت؛ برای ورود به پروژهٔ agent-memory-privacy-project.

منابع پشتیبان این درس: MIRACL: A Multilingual Retrieval Dataset Covering 18 Diverse Languagessrc-miracl، Lost in the Middle: How Language Models Use Long Contextssrc-lost-middle.

پرسش‌های سنجش

در مثال gold={D1,D4} و top2=[D1,D3]، مقدار `Recall@2` چیست؟

  • ۱
  • ۰٫۵
  • ۰
  • تعریف ندارد چون K=2
پاسخ نمونه و معیار ارزیابی
  • a ← تنها یک gold پیدا شده است.
  • c ← یک سند مرتبط دیده شده است.
  • d ← gold غیرخالی است؛ مخرج تعریف دارد.

موتور سند ۱۴۰۳ را برای پرسش آبان ۱۴۰۵ آورده. چه اجزایی را بررسی می‌کنی؟

پاسخ نمونه و معیار ارزیابی

تاریخ پرسش، effective_from, version, status, نسخهٔ شاخص و gold set را بررسی و سند نامعتبر را از بازیابی مجاز کنار می‌گذارم.

  • تاریخ و نسخهٔ مؤثر را می‌سنجد (1 امتیاز)
  • شاخص و gold set را بررسی می‌کند (1 امتیاز)
  • اصلاح فیلتر پیش از تولید را توضیح می‌دهد (1 امتیاز)

    ادعای مدل با نقل‌قول حاضر در سند هم‌خوان نیست اما `chunk_id` واقعی است. آیا استناد معتبر است؟

    پاسخ نمونه و معیار ارزیابی

    خیر؛ وجود شناسه و quote یک کنترل صوری است؛ باید پشتیبانی معنایی ادعا سنجیده شود و در صورت نبود شاهد پاسخ به حالت نامطمئن/رد برود.

    • شناسهٔ واقعی را کافی نمی‌داند (1 امتیاز)
    • چک معنایی را می‌گوید (1 امتیاز)
    • رفتار عدم قطعیت را مشخص می‌کند (1 امتیاز)

      آیا امتیاز بالای `Faithfulness` ثابت می‌کند پاسخ دربارهٔ مقررات امروز درست است؟

      پاسخ نمونه و معیار ارزیابی

      نه؛ Faithfulness سازگاری با متن داده‌شده است و اگر متن قدیمی یا نامعتبر باشد، پاسخ می‌تواند وفادار ولی نادرستِ زمانی باشد؛ وضعیت نسخه و حقیقت بیرونی را جدا کنترل می‌کنیم.

      • مرز Faithfulness را می‌گوید (1 امتیاز)
      • نسخه و زمان را تفکیک می‌کند (1 امتیاز)
      • کنترل مستقل پیشنهاد می‌دهد (1 امتیاز)

        یک گزارش ارزیابی ۱۰ سؤالی دارای ۲ مورد بدون gold را چگونه می‌نویسی؟

        پاسخ نمونه و معیار ارزیابی

        تعداد کل ۱۰، موارد دارای gold برابر ۸ و موارد تعریف‌نشده ۲ را جدا ثبت می‌کنم؛ Recall را فقط روی ۸ مورد واجد شرایط با روش میانگین مشخص گزارش می‌دهم؛ آزمون بی‌پاسخ را جدا می‌سنجم.

        • مخرج واجد شرایط را مشخص می‌کند (1 امتیاز)
        • تعریف‌نشده را صفر نمی‌نویسد (1 امتیاز)
        • رفتار بی‌پاسخ را مستقل بررسی می‌کند (1 امتیاز)

          ابزارها و جایگزین‌ها

          • ویرایشگر متن و جدول محلی — تهیه ماتریس تصمیم، پاسخ تمرین و آزمون بدون اشتراک — LibreOffice — Notepad — Excel آفلاین — مداد و کاغذ
          • Python 3 (اختیاری) — محاسبهٔ قطعی معیارهای بازیابی از دادهٔ مصنوعی — محاسبهٔ همان کسرها با جدول دستی

          منابع

          RAGAs: Automated Evaluation of Retrieval Augmented Generation Es et al. / EACL Demos 2024؛ وضعیت: مقالهٔ داوری‌شدهٔ بخش نمایش (demo)؛ نسخهٔ arXiv 2023 پیش‌چاپ؛ بررسی منبع در 2026-11-07

          List of available metrics; Faithfulness; Context Precision Ragas Documentation مستند آنلاین؛ مشاهده 2026-11-07؛ وضعیت: مستند رسمی نسخه‌پذیر؛ داوری علمی ندارد؛ بررسی منبع در 2026-11-07

          MIRACL: A Multilingual Retrieval Dataset Covering 18 Diverse Languages Zhang et al. / TACL 2023؛ جلد ۱۱، ص ۱۱۱۴–۱۱۳۱؛ وضعیت: مقالهٔ داوری‌شده؛ بررسی منبع در 2026-11-07

          Introducing Contextual Retrieval Anthropic Engineering 2024-09-19؛ وضعیت: یادداشت فنیِ منتشرشده توسط ارائه‌دهنده؛ بدون داوری علمی مستقل؛ بررسی منبع در 2026-11-07

          Lost in the Middle: How Language Models Use Long Contexts Liu et al. / TACL 2024-02؛ جلد ۱۲، ص ۱۵۷–۱۷۳؛ وضعیت: مقالهٔ داوری‌شده؛ بررسی منبع در 2026-11-07

          OWASP GenAI LLM Top 10 2026 OWASP GenAI Security Project 2026-08-03 (صفحهٔ انتشار)؛ وضعیت: راهنمای امنیتی جامعه OWASP؛ استاندارد گواهی یا مطالعهٔ داوری‌شده نیست؛ بررسی منبع در 2026-11-07

          دوره

          وصل‌کردن مدل به دانش: RAG، جست‌وجوی فارسی و حافظه