Why Models Fail and How to Catch It Early

Seven common failure patterns of language models, their causes, and three quick checks to catch errors before they reach your work.

بعد از این درس می‌توانی

  • هفت الگوی رایج شکست را در نمونه‌های واقعی تشخیص بدهد.
  • علت هر الگو را با مدل ذهنی درس‌های قبل توضیح بدهد.
  • سه آزمون سریع (منبع، تکرار، فشار معکوس) را پیش از اتکا به خروجی اجرا کند.
  • درخواستی بنویسد که احتمال توهم را کم کند، و حد این روش‌ها را بداند.
  • میزان بررسی را متناسب با ریسک کار تعیین کند.

چرا این درس مهم است

یک تولیدکننده محتوا برای مقاله‌ای درباره عادت‌های مطالعه، از دستیار هوش مصنوعی آمار خواست. جواب یک عدد دقیق بود («۶۸ درصد…») با نام یک سازمان معتبر به‌عنوان منبع. مقاله منتشر شد. یک خواننده ایمیل زد که چنین گزارشی از آن سازمان وجود ندارد. اصلاحیه، عذرخواهی، و آسیب به اعتبار.

این درس درباره ترساندن از هوش مصنوعی نیست. درباره این است که خطاهای مدل الگو دارند. وقتی الگو را بشناسی، می‌توانی با چند آزمون ساده و کم‌هزینه، بیشتر آن‌ها را پیش از اینکه به کار یا مشتری برسند بگیری. در چارچوب loOkiYar این همان مهارت «تفکر نقادانه» و «اعتبارسنجی و ایمنی» است.

مفاهیم کلیدی

  • Hallucination (توهم): گزاره‌ای باورپذیر ولی نادرست که مدل تولید می‌کندsrc-openai-why-hallucinate.
  • Grounding (اتکا به منبع): ساختن پاسخ بر پایه متن مشخصی که در کانتکست داده شده، به‌جای حافظه مدل.
  • Calibration (کالیبراسیون): هم‌خوانی میزان اطمینان با میزان درستی. مدل کالیبره وقتی نمی‌داند، اطمینان کمتری نشان می‌دهدsrc-openai-why-hallucinate.
  • Sycophancy (چاپلوسی): تمایل مدل به هم‌نظری با کاربر، حتی وقتی کاربر اشتباه می‌کندsrc-sharma-sycophancy.
  • Lost in the Middle (گم‌شدن در میانه): افت دقت وقتی اطلاعات مهم وسط یک کانتکست بلند استsrc-liu-lost-in-middle.
  • Context Rot (فرسایش کانتکست): افت دقت و یادآوری با رشد شمار توکن‌های کانتکستsrc-claude-context-windows.
  • Risk-proportional Verification (بررسی متناسب با ریسک): هر چه پیامد خطا جدی‌تر باشد، بررسی سخت‌گیرانه‌تر.

مدل ذهنی

مدل زبانی را مثل یک کارآموز بسیار خوش‌قلم و مشتاق در نظر بگیر:

  • خیلی روان و مطمئن می‌نویسد، حتی وقتی نمی‌داند.
  • اگر اجازه صریح نداشته باشد، کمتر می‌گوید «نمی‌دانم».
  • دوست دارد با تو موافق باشد.
  • وقتی سند بلندی به او می‌دهی، اول و آخرش را بهتر از وسطش به خاطر می‌سپارد.
  • در حساب ذهنی گاهی اشتباه می‌کند، ولی اشتباه را با همان اطمینان می‌نویسد.

این تشبیه کجا غلط است؟ کارآموز انسان قصد دارد و از اشتباهش یاد می‌گیرد. مدل نه قصد دارد و نه از گفتگوی تو یاد می‌گیرد؛ این رفتارها از نحوه ساخت و آموزش آن می‌آیند. تشبیه را برای پیش‌بینی رفتار به کار ببر، نه برای قضاوت درباره نیت.

سه آزمون سریع پیش از اتکا به خروجی مدل: اگر خروجی ادعای قابل بررسی دارد آزمون منبع؛ اگر پاسخ واحد لازم است آزمون تکرار؛ اگر پاسخ با نظر خودت هم‌خوان است آزمون فشار معکوس؛ سپس بر اساس ریسک تصمیم به استفاده، بررسی بیشتر یا رد.

سه آزمون سریع پیش از اتکا به خروجی مدل

گام‌به‌گام

گام ۱: هفت الگوی رایج شکست

۱. توهم: ساختن واقعیت

چه شکلی است: عدد، نام، نقل‌قول، منبع یا رویدادی که وجود ندارد، با لحن کاملاً مطمئن.

چرا: تحلیل OpenAI (سپتامبر ۲۰۲۵) و نسخه داوری‌شدهٔ پژوهش Kalai و همکاران (Nature، آوریل ۲۰۲۶) دو سازوکار اثرگذار را بررسی می‌کنند. اول، در پیش‌آموزش مدل فقط متن روان می‌بیند، بی‌آنکه درست یا غلط بودنش برچسب داشته باشد. الگوهای منظم یاد گرفته می‌شوند، ولی واقعیت‌های دلخواه و کم‌تکرار را نمی‌شود از روی الگو پیش‌بینی کرد. دوم، روش‌های رایج ارزیابی مدل‌ها فقط «درصد درستی» را می‌شمارند. حدس شانسی امتیاز می‌گیرد و «نمی‌دانم» امتیاز صفر. پس مدل‌ها به حدس‌زدن تشویق می‌شوند، نه به اعلام عدم قطعیتsrc-openai-why-hallucinate. src-kalai-nature

نشانه هشدار: جزئیات خیلی دقیق درباره موضوعی کم‌شناخته؛ منبعی که نام دارد ولی پیوند یا شناسه قابل بررسی ندارد.

۲. دانش کهنه

چه شکلی است: اطلاعات درست، ولی برای گذشته؛ مثلاً قیمت، قانون، نسخه یا مسئولی که عوض شده است.

چرا: تاریخ برش دانش که ارائه‌دهنده اعلام می‌کند فقط یک راهنمای تقریبی برای تازگی اطلاعات است؛ داده ممکن است ناقص باشد و ابزار متصل هم می‌تواند اطلاعات جدید بدهدsrc-claude-models-overview.

نشانه هشدار: هر پرسشی با واژه‌هایی مثل «فعلی»، «جدید»، «آخرین» یا «امسال».

۳. ناپایداری

چه شکلی است: همان پرسش، جواب‌های متناقض در اجراهای مختلف.

چرا: نمونه‌گیری (درس ۲). حتی با temperature صفر هم یکسانی کامل تضمین نیستsrc-claude-glossary.

نکته مهم: ناپایداری فقط مزاحمت نیست، سیگنال هم هست. اگر مدل برای یک پرسش با جواب واحد، هر بار چیز دیگری می‌گوید، احتمالاً جواب قابل‌اتکایی ندارد.

۴. گم‌شدن در میانه کانتکست بلند

چه شکلی است: سند بلند دادی، ولی مدل یک بند مهم را نادیده گرفت.

چرا: پژوهش «Lost in the Middle» (پیش‌چاپ ۲۰۲۳؛ مقاله داوری‌شده TACL در ۲۰۲۴)، در وظایف بازیابی کلید-مقدار و پرسش‌پاسخ چندسندیِ بررسی‌شده نشان داد بعضی مدل‌ها وقتی اطلاعات لازم در ابتدا یا انتهای ورودی است بهتر از میانه عمل می‌کنند؛ این الگو برای تمام مدل‌ها و متن‌ها قانون همیشگی نیستsrc-liu-lost-in-middle. مستندات Anthropic هم هشدار می‌دهد با رشد شمار توکن، دقت و یادآوری افت می‌کند و این را «فرسایش کانتکست» می‌نامدsrc-claude-context-windows. مدل‌های تازه‌تر ممکن است در این آزمون بهتر از مدل‌های ۲۰۲۳ عمل کنند، ولی همین هشدار مستندات فعلی نشان می‌دهد مسئله حل‌شده فرض نمی‌شود. برای کار خودت، آزمایش ج همین درس را انجام بده. src-liu-tacl

نشانه هشدار: سند طولانی + پرسشی که پاسخش در یک جمله وسط سند است.

۵. چاپلوسی

چه شکلی است: وقتی نظرت را در پرسش می‌آوری («فکر کنم X درست است، نه؟»)، مدل تأیید می‌کند. وقتی مخالفت می‌کنی، جوابش را عوض می‌کند، بدون اینکه شاهد تازه‌ای داده باشی.

چرا: پژوهش Sharma و همکاران (ICLR ۲۰۲۴) در پنج دستیار مورد آزمایش رفتار چاپلوسی را گزارش کرد. نشان داد در داده‌های ترجیح انسانی، پاسخ‌های هم‌نظر با کاربر بیشتر ترجیح داده می‌شوند، و بهینه‌سازی مدل برای این ترجیح‌ها گاهی درستی را فدای هم‌نظری می‌کندsrc-sharma-sycophancy. همان آموزش با بازخورد انسانی که مدل را دستیار خوبی می‌کند (درس ۲)src-ouyang-instructgpt، این عارضه جانبی را هم می‌تواند بسازد. src-sharma-iclr

نشانه هشدار: پرسش‌های جهت‌دار؛ تغییر نظر مدل فقط با فشار.

۶. پرکردن جای خالی

چه شکلی است: در خلاصه یا استخراج، اطلاعاتی که در متن اصلی نیست اضافه می‌شود؛ مثلاً موعد، مسئول یا مبلغ.

چرا: همان سازوکار توهم، ولی در کار با سند. مدل ادامه محتمل «یک خلاصه کامل» را می‌سازد و یک خلاصه کامل معمولاً موعد و مسئول دارد.

نشانه هشدار: خروجی «کامل‌تر» از ورودی.

۷. خطای محاسبه و استدلال صوری

چه شکلی است: جمع ستون فاکتور غلط است؛ درصدها با هم جور درنمی‌آیند؛ استدلالی که قدم‌به‌قدم معقول به نظر می‌رسد ولی نتیجه‌اش غلط است.

چرا: تولید مبتنی بر الگو می‌تواند در شمارش، محاسبه و استدلال صوری شکست بخورد؛ در عین حال بعضی مدل‌های استدلالی در وظایف مشخص توانایی بالاتری نشان داده‌اند. درستی محاسبه باید مستقل بررسی شودsrc-google-mlcc-transformers. حتی اگر مدلی که استفاده می‌کنی معمولاً درست حساب کند، بدون بررسی نمی‌دانی کدام عدد از کدام دسته است.

نشانه هشدار: هر عددی که از محاسبه به دست آمده، نه از متن.

گام ۲: سه آزمون سریع

آزمونکیچطورچه چیزی را می‌گیرد
منبعهر ادعای قابل بررسیمنبع را خودت باز کن. اگر سند داده‌ای، بخواه مدل جمله پشتیبان را عیناً نقل کندتوهم، دانش کهنه، پرکردن جای خالی
تکرارکار با جواب واحد۲ یا ۳ اجرای مستقل، هر بار در گفتگوی تازه؛ مقایسهناپایداری؛ جواب نامطمئن
فشار معکوسوقتی جواب با نظر تو یا پرسش جهت‌دار هم‌خوان استمخالفت کن بدون شاهد تازه. اگر مدل فوراً نظرش را عوض کرد، به هیچ‌کدام از دو جواب اعتماد نکنچاپلوسی

Anthropic هم آزمون تکرار را با نام «best-of-N» پیشنهاد می‌کند: ناسازگاری بین اجراها می‌تواند نشانه توهم باشدsrc-claude-reduce-hallucinations.

گام ۳: درخواستی بنویس که خطا را کم کند

مستندات Anthropic چند روش را برای کاهش توهم پیشنهاد می‌کندsrc-claude-reduce-hallucinations:

  1. اجازه صریح «نمی‌دانم»: به گفته همین مستندات، می‌تواند اطلاعات نادرست را به‌شدت کم کند.
  2. نقل‌قول مستقیم پیش از پاسخ: برای سندهای بلند، اول جمله‌های مرتبط عیناً استخراج شوند و سپس پاسخ بر پایه آن‌ها ساخته شود.
  3. ارجاع برای هر ادعا: هر ادعا با نقل‌قول یا منبع همراه باشد؛ ادعای بدون پشتوانه پس گرفته شود.
  4. محدودکردن به سند: «فقط از متن داده‌شده استفاده کن، نه دانش عمومی‌ات.»

نمونه درخواستی که این‌ها را ترکیب می‌کند:

فقط با استفاده از متن قرارداد زیر به پرسش جواب بده.
اول، جمله یا جمله‌هایی از متن را که به پرسش مربوط‌اند عیناً نقل کن.
سپس بر پایه همان جمله‌ها جواب بده.
اگر جمله مرتبطی پیدا نکردی، فقط بنویس «در متن قرارداد نیامده است» و حدس نزن.

پرسش: اگر تحویل کالا دیر شود، جریمه چقدر است؟

متن قرارداد:
[...]

برای الگوی ۷، راه درست این است که محاسبه را به ابزار محاسبه بسپاری: صفحه‌گسترده یا کد. مدل می‌تواند فرمول را پیشنهاد کند یا نتیجه را توضیح دهد، ولی عدد نهایی را از ابزار بگیر.

گام ۴: بررسی متناسب با ریسک

ریسکنمونهحداقل بررسی
کمایده‌پردازی، پیش‌نویس اولیه برای خودتخواندن سریع؛ عدد و نام را به‌عنوان «پیشنهاد» ببین
متوسطایمیل داخلی، خلاصه جلسه، پاسخ معمول به مشتریآزمون منبع برای هر ادعای قابل بررسی؛ بازخوانی انسانی پیش از ارسال
زیادسلامت، حقوق، مالی، آمار منتشرشده، تصمیم درباره افراد، هر چیزی که به نام تو یا سازمانت منتشر شودآزمون منبع کامل، محاسبه با ابزار، بازبینی متخصص، و یک مسئول انسانی که تأیید را امضا کند

قاعده ساده: هر چه برگرداندن خطا سخت‌تر باشد، بررسی پیش از اقدام سخت‌گیرانه‌تر. درس «کی از هوش مصنوعی استفاده نکنیم» در دوره بعد این را عمیق‌تر می‌کند.

مثال‌ها

پیاده‌سازی عملی

آزمایشگاه شکار خطا. سه آزمایش، حدود ۱۸ دقیقه. هر نتیجه را با الگوی شماره‌دارش در دفترچه ثبت کن.

آزمایش الف: آزمون منبع. بپرس:

سه کتاب یا مقاله فارسی درباره تاریخچه نان سنگک معرفی کن؛ با نام نویسنده، ناشر و سال انتشار.

هر مورد را جست‌وجو کن و در دفترچه بنویس: وجود دارد / وجود دارد ولی جزئیاتش غلط است / پیدا نشد.

آزمایش ب: فشار معکوس. متن shared/policy-barg-sabz.md را بده و بپرس:

فقط با استفاده از متن زیر جواب بده.
مهلت مرجوعی کتاب نو ۳۰ روز است، درسته؟

متن:
[متن فایل]

سپس در همان گفتگو، اگر مدل درست گفت (ده روز)، مخالفت کن: «نه، مطمئنم ۳۰ روز است.» ببین مدل نظرش را عوض می‌کند یا به متن استناد می‌کند.

آزمایش ج: گم‌شدن در میانه. فایل assets/hr-policy-long.md یک آیین‌نامه ساختگی بلند است و یک جمله کلیدی درباره «مرخصی سال اول» در میانه آن قرار دارد. متن کامل را بده و بپرس:

طبق این آیین‌نامه، کارمند در سال اول خدمت چند روز مرخصی استحقاقی دارد؟ جمله مربوط را عیناً نقل کن.

سپس همان جمله کلیدی را به ابتدای متن منتقل کن و پرسش را در گفتگوی تازه تکرار کن. دو نتیجه را مقایسه کن. اگر تفاوتی ندیدی، آن را هم ثبت کن؛ این سند برای یک آزمایش کوتاه نسبتاً کوتاه است و مدل‌های قوی ممکن است در این طول مشکلی نداشته باشند. اثر معمولاً با بلندتر شدن متن و مدل ضعیف‌تر بیشتر دیده می‌شود.

سرویس میزبانی‌شده (در دسترس قانونی)

هر سه آزمایش را در دستیاری که برایت قانونی است انجام بده. برای آزمایش الف، اگر دستیار قابلیت جست‌وجوی وب دارد، یک بار با جست‌وجو و یک بار بدون آن امتحان کن. تفاوت را ثبت کن.

اجرای محلی

مدل‌های محلی کوچک معمولاً در این آزمایش‌ها خطای بیشتری نشان می‌دهند. این برای یادگیری مفید است. برای آزمایش ج، پیش از اجرا مطمئن شو متن در پنجره کانتکست جا می‌شود (prompt_eval_count را با ستون CONTEXT در ollama ps مقایسه کن؛ درس ۳). در غیر این صورت، نتیجه را با «دیده‌نشدن متن» اشتباه می‌گیری، نه «گم‌شدن در میانه».

بدون اجرا / شبیه‌ساز

فایل assets/sample-runs.md اجراهای آماده (ساختگی) هر سه آزمایش را دارد. برای آزمایش الف، منبع‌های نمونه را واقعاً جست‌وجو کن؛ این بخش در هر مسیری انجام‌شدنی است.

اشتباه‌های رایج

اشتباهنتیجهکار درست
اطمینان لحن را نشانه درستی بدانیانتشار ادعای ساختگیروانی ≠ درستی؛ آزمون منبع
از مدل بخواهی «منبعت را بگو» و همان را بپذیریمنبع ساختگی دوممنبع را خودت باز کن
پرسش جهت‌دار بپرسی («X درست است، نه؟»)تأیید چاپلوسانهپرسش خنثی + نقل‌قول
کل سند بلند را بدهی و به «ندارد» اعتماد کنیاز دست دادن بند مهمنقل‌قول بخواه؛ برای موضوع پرخطر جست‌وجوی دستی
عدد محاسبه‌شده را از مدل بگیریخطای حساب پنهانمحاسبه با صفحه‌گسترده یا کد
یک اجرا را کافی بدانیندیدن عدم قطعیتبرای جواب واحد، تکرار
فکر کنی روش‌های کاهش توهم آن را صفر می‌کنندحذف بررسیکم می‌کنند، حذف نمی‌کنند
بررسی یکسان برای همه کارهایا وقت هدر می‌رود یا ریسک بالا بی‌دفاع می‌ماندبررسی متناسب با ریسک

اشکال‌زدایی

منبعی که مدل معرفی کرده پیدا نمی‌شود.

توهم؛ مدل شکل یک ارجاع را ساخته است.

جست‌وجوی عنوان دقیق و نام نویسنده در کاتالوگ و وب؛ بررسی شناسه، اگر داده شده: شابک کتاب، یا DOI (شناسه دیجیتال یکتای مقاله‌های علمی).

آن منبع را حذف کن. از مدل برای پیدا کردن کلیدواژه جست‌وجو استفاده کن، نه فهرست منبع.

مدل با مخالفت تو نظرش را عوض کرد، بی‌آنکه شاهد تازه‌ای داده باشی.

چاپلوسی.

در گفتگوی تازه، پرسش را خنثی بپرس و نقل‌قول از منبع بخواه.

به هیچ‌کدام از دو جواب قبلی تکیه نکن؛ پاسخ را با منبع تعیین کن.

مدل می‌گوید چیزی در سند نیست، ولی هست.

گم‌شدن در میانه، یا (در مدل محلی) جا نشدن سند در پنجره کانتکست.

اول بررسی کن سند کامل در پنجره جا شده است (درس ۳). اگر جا شده، جمله کلیدی را به ابتدای متن ببر و دوباره بپرس. اگر حالا پیدا شد، الگوی ۴ است.

نقل‌قول مستقیم، تقسیم سند، یا کوتاه‌کردن متن به بخش مرتبط.

سه اجرا، سه جواب متفاوت برای پرسشی که باید یک جواب داشته باشد.

مدل جواب قابل‌اتکایی ندارد و نمونه‌گیری این را آشکار کرده است.

اگر با دادن متن منبع در کانتکست، جواب‌ها یکسان شدند، مشکل نبود اطلاعات بوده است.

منبع را در کانتکست بده، یا پاسخ را از منبع معتبر بگیر.

نکته‌های امنیتی

نکته‌های هزینه

تمرین کوتاه

تمرین · 10 دقیقه

هدف: تشخیص الگوی شکست.

گام‌ها: برای هر مورد شماره الگو (۱ تا ۷) را بنویس. اگر دو الگو صدق می‌کند، هر دو را بنویس.

  1. مدل می‌گوید آخرین نسخه یک نرم‌افزار نسخه ۸ است، در حالی که نسخه ۱۰ ماه گذشته منتشر شده.
  2. خلاصه جلسه برای کاری که موعدش تعیین نشده بود، موعد «پایان هفته» نوشته است.
  3. پرسیدی «این ایمیل لحن مناسبی دارد، نه؟» و مدل تأیید کرد؛ در گفتگوی تازه با پرسش خنثی، سه ایراد لحن گرفت.
  4. درصدهای یک نمودار پیشنهادی جمعشان ۱۱۴ درصد است.
  5. برای یک پرسش با جواب واحد، دو اجرا دو جواب متفاوت داد.
  6. نقل‌قولی از یک شخص مشهور آورده که در هیچ منبعی پیدا نمی‌شود.

معیار پذیرش: دست‌کم ۵ مورد درست؛ برای مورد ۳ یک جمله توضیح.

راه‌حل نمونه

۱: الگوی ۲ (دانش کهنه) · ۲: الگوی ۶ (پرکردن جای خالی) · ۳: الگوی ۵ (چاپلوسی)؛ پرسش جهت‌دار، تأیید گرفت و پرسش خنثی، نقد واقعی · ۴: الگوی ۷ (خطای محاسبه) · ۵: الگوی ۳ (ناپایداری) · ۶: الگوی ۱ (توهم).

چالش

تمرین · 20 دقیقه

موقعیت: یکی از کارهای واقعی‌ات را انتخاب کن که می‌خواهی در آن از هوش مصنوعی کمک بگیری. برایش یک پروتکل بررسی یک‌صفحه‌ای بنویس.

پروتکل باید شامل این‌ها باشد:

  1. سطح ریسک (کم، متوسط، زیاد) با دلیل.
  2. محتمل‌ترین الگوهای شکست برای این کار (دست‌کم دو مورد).
  3. آزمون‌های لازم پیش از استفاده و اینکه هرکدام چطور انجام می‌شود.
  4. یک درخواست نمونه که دست‌کم دو روش کاهش توهم را دارد.
  5. چه کسی، با چه معیاری، خروجی را پیش از استفاده تأیید می‌کند.

خروجی مورد انتظار: یک پروتکل بررسی یک‌صفحه‌ای به‌علاوه نتیجه یک بار اجرای آن. اگر کار واقعی‌ات داده حساس دارد، پروتکل را روی یک نمونه ساختگی یا ناشناس‌شده اجرا کن.

معیار پذیرش:

  • سطح ریسک با جدول گام ۴ سازگار است.
  • آزمون‌ها با الگوهای شکست انتخاب‌شده جور درمی‌آیند (مثلاً اگر محاسبه دارد، محاسبه با ابزار).
  • درخواست نمونه اجازه «نمی‌دانم» و یکی از روش‌های نقل‌قول یا محدودکردن به سند را دارد.
  • پروتکل را دست‌کم یک بار روی یک نمونه واقعی یا ساختگی اجرا و نتیجه را ثبت کرده‌ای.

پرسش‌های سنجش

جمع‌بندی

  • خطاهای مدل الگو دارند: توهم، دانش کهنه، ناپایداری، گم‌شدن در میانه، چاپلوسی، پرکردن جای خالی، و خطای محاسبه.
  • توهم دو ریشه دارد: پیش‌آموزش واقعیت‌های کم‌تکرار را قابل‌پیش‌بینی نمی‌کند، و ارزیابی‌های رایج حدس‌زدن را بیش از اعلام عدم قطعیت پاداش می‌دهند.
  • سه آزمون سریع: منبع (خودت باز کن)، تکرار (برای جواب واحد)، فشار معکوس (برای پرسش‌های جهت‌دار).
  • اجازه «نمی‌دانم»، نقل‌قول مستقیم و محدودکردن به سند، توهم را کم می‌کنند ولی حذف نمی‌کنند.
  • محاسبه را به ابزار محاسبه بسپار، نه به مدل زبانی.
  • بررسی را متناسب با ریسک انتخاب کن: هر چه برگرداندن خطا سخت‌تر، بررسی پیش از اقدام سخت‌گیرانه‌تر.

پرسش‌های سنجش

پیش‌نویس مقاله‌ای که با کمک مدل نوشته شده این جمله را دارد: «طبق گزارش ۲۰۲۴ یک سازمان بین‌المللی، ۶۸ درصد نوجوانان روزانه کمتر از ۱۵ دقیقه کتاب می‌خوانند.» مقاله قرار است فردا با نام سازمانت منتشر شود. سطح ریسک و اقدام‌های لازم پیش از انتشار را بنویس.

پاسخ نمونه و معیار ارزیابی

ریسک زیاد، چون آمار منتشرشده با نام سازمان است. اقدام‌ها: آزمون منبع، یعنی گزارش را با نام دقیق سازمان و سال پیدا و باز کنی و عدد و تعریف («کمتر از ۱۵ دقیقه»، «نوجوانان») را در متن اصلی ببینی. اگر پیدا نشد یا عدد فرق داشت، جمله حذف یا با منبع واقعی جایگزین شود. یک نفر مسئول، تأیید آمارها را امضا کند. به منبعی که خود مدل معرفی می‌کند بدون باز کردن اعتماد نکن.

  • ریسک را زیاد تشخیص می‌دهد (انتشار عمومی با نام سازمان) (1 امتیاز)
  • آزمون منبع با باز کردن گزارش اصلی را الزامی می‌داند (1 امتیاز)
  • تکلیف حالت پیدا نشدن را روشن می‌کند (حذف یا جایگزینی) (1 امتیاز)
  • مسئول انسانی تأیید را تعیین می‌کند (1 امتیاز)
  • از مدل می‌پرسم منبعش را بدهد ← مدل ممکن است منبع ساختگی دوم بسازد؛ منبع را خودت باز کن.

قرارداد ۱۵ صفحه‌ای را به یک دستیار میزبانی‌شده دادی و پرسیدی «آیا بند فسخ یک‌طرفه دارد؟» جواب «خیر» بود، ولی همکارت در صفحه هفتم چنین بندی پیدا کرد. کل قرارداد در پنجره کانتکست جا می‌شد. محتمل‌ترین الگو چیست و برای دفعه بعد چه می‌کنی؟

پاسخ نمونه و معیار ارزیابی

یکی از فرضیه‌ها «گم‌شدن اطلاعات در میانه» است؛ اما از یک نمونه نمی‌توان علت را قطعی دانست. جملات مرتبط با فسخ را با جست‌وجوی مستقیم در سند بیاب، از مدل بخواه نقل‌قول و محل دقیق بیاورد، آزمایش را با بند در موقعیت‌های مختلف تکرار کن و پاسخ منفی حقوقی را مستقل بررسی کن.

  • «گم‌شدن در میانه» را یک فرضیه قابل آزمون می‌شناسد، نه تشخیص قطعی (1 امتیاز)
  • نقل‌قول مستقیم یا تقسیم سند را پیشنهاد می‌دهد (1 امتیاز)
  • برای پاسخ منفی در موضوع پرخطر، بررسی دستی را لازم می‌داند (1 امتیاز)
  • پنجره کانتکست کوچک بوده ← صورت مسئله گفته کل قرارداد در پنجره جا می‌شد؛ پس دیده‌نشدن متن علت محتمل نیست. فرضیهٔ بعدی، گم‌شدن در میانه است که باید با جابه‌جایی بند آزموده شود.

از دستیار پرسیدی «این ایمیل به مشتری لحن مناسبی دارد، نه؟» و جواب «بله، لحن عالی است» بود. چه آزمونی انجام می‌دهی و درخواست را چطور بازنویسی می‌کنی؟

پاسخ نمونه و معیار ارزیابی

پرسش جهت‌دار بوده و ممکن است چاپلوسی رخ داده باشد. در گفتگوی تازه پرسش خنثی بپرس، مثلاً: «لحن این ایمیل را برای یک مشتری ناراضی بررسی کن. سه نقطه ضعف احتمالی و برای هرکدام جمله مشخص متن را بنویس. اگر ایرادی نمی‌بینی، بگو.» اگر نقد واقعی پیدا شد، تأیید اول اعتبار نداشت.

  • چاپلوسی یا پرسش جهت‌دار را علت احتمالی می‌داند (1 امتیاز)
  • پرسش خنثی در گفتگوی تازه پیشنهاد می‌دهد (1 امتیاز)
  • درخواست بازنویسی‌شده، نقد مشخص با ارجاع به متن می‌خواهد (1 امتیاز)
  • می‌گوید «مطمئنی؟» ← فشار بدون شاهد هم می‌تواند جواب را فقط به سمت دیگر هل بدهد؛ پرسش خنثی و مشخص بهتر است.

طبق تحلیل OpenAI درباره توهم، کدام عامل باعث می‌شود مدل‌ها به‌جای گفتن «نمی‌دانم» حدس بزنند؟

  • مدل‌ها عمداً برای فریب کاربر آموزش دیده‌اند.
  • ارزیابی‌های رایج فقط درصد درستی را می‌شمارند؛ حدس شانسی امتیاز می‌گیرد و «نمی‌دانم» صفر.
  • پنجره کانتکست همه مدل‌ها خیلی کوچک است.
  • مدل‌ها به اینترنت وصل نیستند.
پاسخ نمونه و معیار ارزیابی
  • a ← این تحلیل از فریب عمدی حرف نمی‌زند؛ از نحوه پاداش‌دادن ارزیابی‌ها به حدس حرف می‌زند.
  • c ← اندازه پنجره کانتکست علت توهم در این تحلیل نیست.
  • d ← اتصال به اینترنت برای اطلاعات تازه مهم است، ولی علت ساختاری توهم که در آن تحلیل آمده، پیش‌آموزش و انگیزه‌های ارزیابی است.

یک تیم می‌خواهد برای همه خروجی‌های مدل، آزمون تکرار سه‌باره انجام دهد: هم برای ایده‌های عنوان شبکه اجتماعی، هم برای استخراج مبلغ از فاکتورهای پرداختی. با درنظرگرفتن هزینه و ریسک، چه پیشنهادی می‌دهی؟

پاسخ نمونه و معیار ارزیابی

آزمون تکرار هزینه و زمان را تقریباً سه برابر می‌کند و فقط برای کارهایی ارزش دارد که جواب واحد و ریسک قابل توجه دارند. برای ایده‌های عنوان (ریسک کم، تنوع مطلوب) لازم نیست. برای استخراج مبلغ فاکتور (جواب واحد، ریسک مالی) مفید است، ولی کافی نیست: مبلغ باید با سند یا جمع ابزار محاسبه تطبیق داده شود و موارد ناهمخوان به بررسی انسانی برود.

  • هزینه تکرار را می‌بیند (1 امتیاز)
  • برای عنوان‌ها لازم نمی‌داند (ریسک کم، تنوع مطلوب) (1 امتیاز)
  • برای فاکتور لازم ولی ناکافی می‌داند و بررسی با منبع یا ابزار را اضافه می‌کند (1 امتیاز)
  • برای همه یکسان ← بررسی یکسان یا وقت را هدر می‌دهد یا ریسک بالا را بی‌دفاع می‌گذارد.

این درخواست را طوری بازنویسی کن که دست‌کم دو روش کاهش توهم را داشته باشد: «با توجه به آیین‌نامه، کارمند جدید چند روز مرخصی دارد؟»

پاسخ نمونه و معیار ارزیابی

نمونه: «فقط با استفاده از متن آیین‌نامه زیر جواب بده، نه دانش عمومی‌ات. اول جمله یا جمله‌های مرتبط را عیناً نقل کن، سپس جواب بده. اگر جمله مرتبطی پیدا نکردی، بنویس ‹در آیین‌نامه نیامده است›. پرسش: کارمند در سال اول خدمت چند روز مرخصی استحقاقی دارد؟ متن: [...]»

  • محدودکردن به متن (1 امتیاز)
  • نقل‌قول مستقیم پیش از جواب (1 امتیاز)
  • اجازه صریح «نیامده/نمی‌دانم» (1 امتیاز)
  • پرسش را دقیق‌تر کرده (سال اول، نوع مرخصی) (1 امتیاز)
  • فقط «دقیق جواب بده» ← این به مدل نمی‌گوید اطلاعات از کجا بیاید یا وقتی نیست چه کند.

فایل‌های درس

آیین‌نامه بلند ساختگی برای آزمایش گم‌شدن در میانه

hr-policy-long.md

نمونه‌اجراهای ساختگی

sample-runs.md

سیاست مرجوعی ساختگی

policy-barg-sabz.md

ابزارها و جایگزین‌ها

  • دفترچه آزمایش — ثبت آزمایش‌های شکار خطا
  • جست‌وجوگر وب — بررسی وجود منبع — کاتالوگ کتابخانه

منابع

Why language models hallucinate OpenAI 2025-09-05

Towards Understanding Sycophancy in Language Models Sharma et al. 2023 (v4 2025)

Lost in the Middle: How Language Models Use Long Contexts Liu et al., TACL preprint 2023

Context windows Anthropic 2026-10

Models overview Anthropic 2026-10

Glossary Anthropic 2026-10

Training language models to follow instructions with human feedback Ouyang et al. (OpenAI) 2022

What's a large language model? (Transformers) Google for Developers (ML Crash Course) 2026-10

Reduce hallucinations Anthropic 2026-10

Evaluating large language models for accuracy incentivizes hallucinations [peer-reviewed] Nature 2026-04-22

Lost in the Middle: How Language Models Use Long Contexts [peer-reviewed] Transactions of the Association for Computational Linguistics 2024

Towards Understanding Sycophancy in Language Models [peer-reviewed] ICLR 2024

Course

Understand Generative AI