From Claim to Source: Verifying AI Output
Split claims, verify source identity, semantic support and time validity, recompute quantities independently, and record evidence, status and action.
بعد از این درس میتوانی
- متن را به ادعاهای مستقلِ دارای عدد، شرط، زمان و دامنه بشکند و اولویت بررسی را با پیامد خطا تعیین کند.
- با خوانش افقی و چارچوب
SIFTوجود منبع، تطابق آن با ادعا و اعتبار زمانیاش را جداگانه بررسی کند. - واحد، درصد، تاریخ و محاسبهٔ مهم را مستقل بازتولید کند و ادعا را «تأییدشده»، «متناقض» یا «نامطمئن» ثبت کند.
- برای هر ادعای پرریسک، شاهد و محل دقیق آن، علت قضاوت، اقدام اصلاحی و نیاز به تأیید انسانی را ثبت کند.
چرا این درس مهم است
نمونهٔ آموزشیِ ساختگی: مدیر فروشگاه «برگ سبز» خبرنامهٔ روانِ ساختهشده با هوش مصنوعی را منتشر کرد. متن ادعا میکرد کتاب دستدوم تا ده روز مرجوع میشود و تخفیف ۱۵درصدی برای همهٔ مدارس خودکار است. در سیاست داخلی فروشگاه هیچکدام از این دو ادعا وجود نداشت؛ پیامهای مشتریان نشان داد که یک متن خوشبیان میتواند به تعهد نادرست تبدیل شود.
در why-models-fail الگوهای خطای مدل را شناختی؛ اینجا علت فنی خطا را تکرار نمیکنیم. مهارت این درس «از ادعا تا شاهد» است: بازکردن منبع، خواندن قیدها، بررسی تاریخ، بازتولید عدد و ثبت تصمیم. روانی نثر، وجود لینک، نام مجله یا شناسهٔ DOI بهتنهایی هیچ ادعایی را تأیید نمیکند. پژوهش Liu و همکاران در چهار موتور جستجوی مولد سال ۲۰۲۳ همین فاصلهٔ میان متن روان و پشتیبانی استنادی را نشان میدهد؛ نه یک قانون علّی برای همهٔ مدلهاsrc-liu-verifiability.
مفاهیم کلیدی
نقشهٔ درس: روش خوانش افقی و SIFT [اصل پایدار/چارچوب آموزشی]؛ تشخیص خطای ارجاع و حفظ قیود [اصل پایدار]؛ نرخ خطای نسخهٔ مشخصِ مدل [ابزار و تاریخدار]. SIFT استاندارد ISO نیست و معیار سهوضعیتی زیر، تعریف اجرایی آکادمی است، نه برچسب رسمی AISsrc-caulfield-siftsrc-rashkin-ais. نگاشت سنجش بدون تغییر تعاریف رسمی: C06-I01، C06-I02، C02-I01، C02-I03، C02-I05.
- ادعای قابل بررسی (`claim`): گزارهای که بتوان درست یا نادرست بودنش را با شاهد سنجید؛ یک جمله ممکن است چند ادعا با شرط، زمان و واحد متفاوت داشته باشد.
- منبع اصلی (`primary source`): نسخهٔ معتبر متن قانون، گزارش پژوهش، سند داخلی یا دادهای که خود ادعا از آن برمیآید؛ بازنشر و پاسخ یک مدل منبع اصلی نیست.
- خوانش افقی (`lateral reading`): برای ارزیابی یک منبع، ابتدا دربارهٔ نویسنده یا ناشر در منابع مستقل جستوجو کن؛ سپس به متن اصلی برگردsrc-wineburg-lateral.
- چهار حرکت `SIFT`: توقف؛ بررسی منبع؛ یافتن پوشش بهتر؛ ردیابی ادعا یا نقلقول تا بافت اصلی. انتخاب یک سند رسمیِ درست میتواند از شمار زیادی نقلِ دستدوم بهتر باشدsrc-caulfield-sift.
- سه دروازهٔ اعتبار: وجود منبع/هویت؛ حمایت معنایی از تمام قیدهای ادعا؛ اعتبار زمانی و نسخه. منبع درست با ادعای غلط و سند معتبر اما منسوخ، هر دو خطای ممیزیاند.
- وضعیت شاهد (`verification status`): «تأییدشده» یعنی منبع معتبر کل ادعا را پشتیبانی میکند؛ «متناقض» یعنی شاهد معتبر خلافش است؛ «نامطمئن» یعنی شاهد کافی در دست نیست. «نیازمند تأیید داخلی» زیرگروه نامطمئن است.
- دفتر شاهد (`evidence log`): شناسهٔ ادعا، متن دقیق، منبع و نسخه، بند/صفحه و نقلقول کوتاه، وضعیت، دلیل، اقدام و بازبین؛ تنها گفتن «بررسی شد» کفایت نمیکند.
- اطمینان کیفی: بالا، متوسط یا پایین توصیف کیفیت ممیزی است؛ درصد احتمال درستبودن یک جمله نیست. برای تعیین مجوز اقدام و نقطهٔ توقف به
when-not-to-use-aiرجوع کن.
مدل ذهنی
هر پاسخ را مثل مجموعهای از مهرهها ببین: نخِ روانی نثر همه را به هم پیوند میدهد، اما هر مهره یک ادعای جداست. برای هر مهره سه پرسش بپرس: «منبع واقعاً وجود دارد؟»، «همین گزاره و قیدهایش را میگوید؟»، «برای زمان و کاربرد من معتبر است؟».
از ادعا تا شاهد و تصمیم
مرز تشبیه: ادعاها همیشه مستقل نیستند؛ ممکن است دو دادهٔ درست کنار هم به نتیجهای غلط برسند یا جملهای بدون شرطِ جملهٔ قبل گمراهکننده شود. پس پس از ممیزی جزءبهجزء، نتیجهگیری کل متن و تناسب آن با تصمیم واقعی را هم بسنج. نسبت دادن «علت ساخت خروجی» به مدل صرفاً از مشاهدهٔ یک متن ممکن نیست؛ دربارهٔ پاسخ و شواهد قضاوت کن، نه فرایند درونیِ اثباتنشده.
گامبهگام
گام ۱: ادعا و دامنه را جدا کن
در جملهٔ «طبق دستورالعمل امسال، همهٔ سفارشها بدون شرط تا ده روز قابل برگشتاند» دستکم اینها را جدا کن: وجود سند، تاریخ نسخه، شمول همه سفارشها، نبود شرط، مهلت ده روز. ادعایی که به پرداخت، حق مشتری، ایمنی یا اعتبار سازمان اثر میگذارد زودتر بررسی میشود. سؤال مقدماتی: «اگر غلط باشد، کدام تصمیم خراب میشود؟»
گام ۲: نوع ادعا و شاهد لازم را تعیین کن
| نوع ادعا | نمونهٔ فرضی | شاهد مناسب |
|---|---|---|
| سیاست داخلی | «کارت هدیه دو سال معتبر است» | بند مشخص از نسخهٔ جاری پایگاه دانش |
| عدد و واحد | «فروش ۳۰٪ رشد کرده» | فایل داده، تعریف پایهٔ درصد، واحد و بازهٔ زمانی |
| نقلقول | «نویسنده گفته است...» | متن یا ضبط اصلی با تاریخ و بافت جمله |
| یافتهٔ پژوهشی | «این روش همیشه ۹۰٪ دقیق است» | مقالهٔ اصلی، نمونه، تعریف سنجه و محدودیت تعمیم |
| مقرره یا خبر زمانحساس | «بخشنامهٔ امسال چنین میگوید» | نسخهٔ رسمی و اصلاحیههای معتبر در تاریخ سؤال |
اولویت با پیامد است، نه فقط ظاهر عدد یا لینک. اعداد، نقلقولها و شروط حذفشده را سریع جدا کن؛ برای ادعای کمریسک، عمق بررسی کمتر است. برای روش انتخاب عمق و توقف در کار پرخطر، when-not-to-use-ai مرجع اصلی است.
گام ۳: `SIFT` را اجرا کن و هر منبع را از سه دروازه بگذران
Stop: پیش از اعتماد به لحن یا بازنشر توقف کن. Investigate: هویت ناشر و نویسنده را خارج از صفحه بسنج. Find Better Coverage: متن معتبرتر یا گزارش اصلی پیدا کن. Trace: به صفحه، بند، جدول و بافت اصلی برگرد. سپس وجود/هویت (عنوان، نویسنده، DOI)، حمایت معنایی (عدد، واحد، شرط، جامعه و استثنا) و تازگی/نسخه را جداگانه ثبت کن. صفحهٔ رسمی لزوماً ادعای ناقصِ مدل را تأیید نمیکند.
سه خطای مستقل را تشخیص بده: (۱) منبع ساختگی؛ (۲) منبع واقعی با ادعای ناسازگار (misgrounding)؛ (۳) منبع قدیمی یا خارج از بافت. در پژوهش Liu و همکاران، در چهار موتور سال ۲۰۲۳، ۵۱٫۵٪ جملهها کاملاً با استناد پشتیبانی میشد و ۷۴٫۵٪ استنادها جملهٔ مربوط را پشتیبانی میکردند؛ مخرج این دو درصد متفاوت است و اینها نرخ خطای مدلهای ۲۰۲۶ نیستندsrc-liu-verifiability.
گام ۴: وضعیت را ثبت و مقدار را مستقل بررسی کن
| وضعیت | معیار قابل مشاهده | اقدام |
|---|---|---|
تأییدشده (supported) | سند معتبر، مرتبط، بهروز و حامی تمام قیدهای گزاره است؛ محاسبهٔ مهم مستقل بازتولید شده | ثبت بند/نقلقول کوتاه و نگهداشتن ادعا |
متناقض (contradicted) | سند معتبر صریحاً خلاف عدد، شرط، دامنه یا زمان ادعا را نشان میدهد | اصلاح با شاهد یا حذف؛ جلوگیری از انتشار نسخهٔ غلط |
نامطمئن (uncertain) | منبع پیدا نشده، بخشی از ادعا پشتیبانی نمیشود یا زمان/نسخه نامشخص است | درخواست شاهد، شفافسازی یا ارجاع؛ ادعای قطعی منتشر نشود |
| نیازمند تأیید داخلی (زیرگروه نامطمئن) | حکم به سیاست یا تصمیمی وابسته است که فقط مسئول سازمان میتواند تأیید کند | توقف انتشار تا تأیید شخص مسئول با نسخهٔ سند |
بررسی قطعی عدد و واحد: مقدار خام و واحد را جدا بنویس؛ ریال/تومان، میلیون/میلیارد، مخرج درصد، تاریخ، ردیفهای تکراری و فرمول را در جدولگسترده یا محاسبهگر بازتولید کن. مثال فرضی: ۴۵٬۰۰۰ میلیون ریال = ۴٫۵ میلیارد تومان؛ با ۱۵ میلیارد تومان دیگر، مجموع ۱۹٫۵ میلیارد و سهم بخش دوم حدود ۷۶٫۹۲٪ است. JSON Schema صحت نحوی/ساختاری را میسنجد، نه درستی مقدار یا معنای منبع؛ آموزش پیادهسازی در structured-output و structured-output-n8n است.
گام ۵: پروندهٔ شاهد بساز و اقدام مجاز را تعیین کن
برای ادعاهای مهم این فیلدها را ثبت کن: شناسه و متن دقیق؛ نوع و ریسک؛ عنوان، ناشر، URL، تاریخ و نسخهٔ منبع؛ بند یا صفحه و نقلقول کوتاه؛ آزمون تطابق؛ وضعیت و شکاف باقیمانده؛ تصمیم (اصلاح، درخواست سند، توقف یا ارجاع)؛ شخص و تاریخ بررسی. «اطمینان متوسط» جایگزین شاهد نیست و عدد یا نقلقول بیمنبع با افزودن «حدوداً» معتبر نمیشود. برای مرز اختیار و امضای انسانی به when-not-to-use-ai ارجاع بده.
مثالها
پیادهسازی عملی
دفتر بررسی خبرنامه — ۱۵ دقیقه. فایل تمرین پیشنویس خبرنامه و قالب دفتر بررسی را بردار. ده ادعای پیشنویس را بررسی کن. برای هر ادعا متن دقیق، نوع، منبع/نسخه، محل شاهد، وضعیت سهگانه، دلیل و اقدام بنویس؛ اگر قالب ستونی جدا ندارد، محل شاهد و تاریخ را در شرح همان ردیف ثبت کن.
- منبع سیاستهای داستانی: دانشنامهٔ ساختگی برگ سبز. فقط در جهان تمرین سند مرجع محسوب میشود.
- برای هر نقلقول و عدد: محل دقیق در سند یا دادهٔ اصلی را ثبت کن؛ «مدل گفته است» مدرک نیست.
- یکی از اعداد را همراه واحد با ابزار مستقل بازتولید کن؛ یکی از ارجاعها را از نظر «وجود» و «حمایت از جمله» جدا بررسی کن.
- مورد بدون سند را «نامطمئن» بنویس؛ اگر باید مسئول داخلی تعیین تکلیف کند، آن را زیرگروه نیازمند تأیید داخلی ثبت کن.
خروجی تحویلی: دفتر شاهد، یک خبرنامهٔ بازنویسیشده و یک جمله دربارهٔ مسئول تأیید. منبع واقعیِ اینترنتی را فقط در صورت دسترسی برای جستوجوی افقی تمرین کن؛ نسخهٔ پایه را میتوان با سندهای آفلاین اجرا کرد.
معیار پذیرش: هیچ عدد، نقلقول، شرطِ سیاست یا خبر زمانحساسِ بیپشتوانهای در نسخهٔ منتشرشدنی نماند؛ برای هر ادعای تأییدشده بند دقیق، تاریخ/نسخه و دلیل تطابق ثبت شود.
اشتباههای رایج
| اشتباه | چرا مسئلهساز است | کار درست |
|---|---|---|
| یکیدانستن متن روان با واقعیت | لحن خوب معیار اعتبار نیست | ادعا و شاهد را جدا کن |
| استناد به لینکِ بازشونده | صفحهٔ واقعی ممکن است ادعا را رد کند | جمله، عدد، قید و محل سند را بخوان |
| ادعای «همبستگی معکوس دائمی» یا نرخ خطای ثابت | آمار نمونهٔ ۲۰۲۳ به همهٔ سامانهها تعمیمپذیر نیست | سال، مدل، جامعه و مخرج را درج کنsrc-liu-verifiability |
| اعتبار دادن به شناسهٔ واقعی با عنوان غلط | DOI میتواند متعلق به مقالهٔ دیگری باشد | عنوان و نویسندگان ثبتشده را تطبیق بده |
| فراموشی واحد یا مخرج درصد | حتی اعداد درست به نتیجهٔ غلط میرسند | واحد را یکسان و محاسبه را مستقل تکرار کن |
| پذیرفتن منبع قدیمی بهجای نسخهٔ حاکم | ادعای «اکنون» با سند قدیمی ثابت نمیشود | تاریخ اعتبار و اصلاحیه را بررسی کن |
| تبدیل «نامطمئن» به «تقریباً درست» | شکاف شاهد پنهان میشود | عدم قطعیت و اقدام مناسب را ثبت کن |
فکرکردن به اینکه JSON Schema حقیقت را تضمین میکند | ساختار درست ممکن است مقدار نادرست داشته باشد | کنترل معنایی و عددی مستقل |
اشکالزدایی
DOI یا نشانی منبع باز میشود، اما نویسنده یا ادعا با خروجی مدل نمیخواند.
انتساب نادرست یا منبع واقعی با ادعای تحریفشده؛ وجود سند، حمایت معنایی را ثابت نمیکند.
شناسه، عنوان، نویسندگان و سال را در صفحهٔ ثبت/ناشر مقابله کن؛ بند پشتیبان را در متن پیدا کن.
در صورت تضاد روشن «متناقض»؛ در صورت شاهد ناکافی «نامطمئن». شاهد و اقدام اصلاح/توقف را ثبت کن.
دو سند معتبر دربارهٔ نرخ یا شرط یک سیاست متفاوتاند.
ممکن است نسخه، دورهٔ اعتبار، دامنهٔ شمول، واحد یا مخرج متفاوت باشد؛ تناقض واقعی نیز ممکن است.
نسخهٔ حاکم، تاریخ اجرا، استثناها و تعریف متغیر را در دو سند مقایسه کن.
اگر تفاوت با نسخه/دامنه حل شد، مستندش کن؛ در تعارض حلنشده «نامطمئن» و ارجاع به مسئول، نه انتخاب بیدلیل تازهترین سند.
تمرین کوتاه
تمرین · 10 دقیقه
هدف: از یک متن ساختگی چهار ادعا بیرون بکش، اولویت و شاهد مناسب را تعیین کن و بین ادعا/مدرک فرق بگذار.
متن تمرینی: «طبق آخرین گزارشها، فروش کتاب کودک ۳۰٪ رشد کرده؛ کارشناسان میگویند تا سال بعد ادامه مییابد؛ برگ سبز بخش کودک را دو برابر کرده؛ از هفتهٔ آینده پنجشنبهها تا ساعت ۲۰ باز است.»
گامها: چهار ادعای مستقل، نوع هرکدام، منبع موردنیاز و وضعیت فعلی بدون جستوجو را بنویس. تفاوت «گزارشها میگویند» با یک گزارش مشخص را توضیح بده.
معیار پذیرش: چهار ادعا، دستکم دو مورد با ذکر نیاز به سند مشخص، و اولویت دادن به عدد و تعهد ساعت کاری.
راهحل نمونه
۱) رشد ۳۰٪: ادعای آماری با مخرج و زمان نامعلوم؛ «نامطمئن»، نیاز به فایل داده/گزارش مشخص. ۲) ادامهٔ رشد: پیشبینی و انتساب مبهم به «کارشناسان»؛ «نامطمئن»، نیاز به فرد/منبع و افق زمانی. ۳) دوبرابرشدن بخش کودک: وضعیت داخلی نامعلوم؛ «نامطمئن/نیازمند تأیید داخلی». ۴) ساعت پنجشنبه تا ۲۰: تعهد زمانی؛ با نسخهٔ فعلی KB-03 تمرین ناسازگار است، اما ممکن است تصمیم تازهای باشد؛ تا تأیید مسئول منتشر نمیشود. اولویت بررسی: ساعت تعهدآور و عدد ۳۰٪؛ هر دو پیش از انتشار به شاهد نیاز دارند.
چالش
تمرین · 25 دقیقه
موقعیت: یک متن کاری غیرمحرمانه یا نسخهٔ ساختگی آن را که با کمک هوش مصنوعی نوشته شده بردار. دستکم پنج ادعای قابلبررسی در آن باشد؛ منبع ساختگی را فقط بهعنوان دادهٔ تمرینی و با برچسب فرضی به کار ببر.
- متن را به ادعاهای جدا با عدد/شرط/زمان بشکن و برای هرکدام سطح ریسک بنویس.
- برای ادعاهای پرخطر، عنوان، منبع اولیه، نسخه، بند یا نقلقول کوتاه را ثبت کن؛ یک بررسی افقی واقعی یا شبیهسازیشده با اسناد تمرین انجام بده.
- یک محاسبه را مستقل بازتولید کن و واحد، مخرج و نتیجه را بنویس.
- برای هر ادعا «تأییدشده/متناقض/نامطمئن»، نوع شکاف و اقدام بنویس؛ نسخهٔ اصلاحشده و مسئول تصمیم را تحویل بده.
خروجی مورد انتظار: دفتر شاهدِ پنجادعایی، یک بازتولید عددی و نسخهٔ اصلاحشدهٔ متن؛ همراه با قید اینکه کدام مدرک ساختگیِ آموزشی است.
معیار پذیرش:
- پنج ادعای مستقل و دلیل اولویت بررسی ثبت شده باشد.
- هر «تأییدشده» با محل شاهد و نسخهٔ منبع همراه باشد.
- هیچ عدد/نقلقول بیمنبع و هیچ ادعای «نامطمئن» بهصورت قطعی منتشر نشده باشد.
- واحد یا درصدِ یک مورد بازتولید و اصلاحات با مسئول مشخص ثبت شده باشد.
راهنما: در این درس ساخت سامانهٔ n8n یا تحلیل کامل تأیید انسانی لازم نیست؛ بهترتیب به structured-output-n8n و when-not-to-use-ai رجوع کن.
پرسشهای سنجش
جمعبندی
- روانی نثر، وجود لینک و
DOIفقط سرنخاند؛ شاهدِ معتبر نیستند. - هر ادعا را همراه شرط، دامنه، عدد و زمان جدا کن و منبع اصلی را با
SIFTپیدا کن. - برای منبع سه پرسش مستقل بپرس: وجود/هویت، حمایت معنایی، اعتبار زمانی و نسخه.
- مقدار و واحد مهم را بیرون از پاسخ مدل بازتولید کن؛ ساختار معتبر مساوی محتوای درست نیست.
- نتیجه را با «تأییدشده»، «متناقض» یا «نامطمئن» و شاهد/اقدام ثبت کن.
- کنترل اختیارات و تصمیم دربارهٔ استفاده از
AIدرwhen-not-to-use-aiآموزش داده میشود؛ خطاهای مدل درwhy-models-fail.
پرسشهای سنجش
**سند فرضیِ داخلی (تمام دادهٔ آزمون):** «دستورالعمل شرکت الف، نسخهٔ ۱۴۰۵/۰۲: تخفیف فقط برای قراردادهایی اعمال میشود که تا پایان خرداد تسویه شدهاند.» مدل به همین سند لینک داده و گفته «همهٔ قراردادها بدون شرط تسویه تخفیف دارند». وضعیت، شاهد و اقدام پیش از انتشار را بنویس.
پاسخ نمونه و معیار ارزیابی
«متناقض»: سندِ واقعی در محیط تمرین وجود دارد اما شرط تسویه و مهلت را صریح ذکر کرده است. همان بند، عنوان و نسخهٔ ۱۴۰۵/۰۲ ثبت شود؛ ادعای «همه بدون شرط» اصلاح یا حذف و انتشار تا تأیید مسئول متوقف شود. متن فرضی حکم قانونی واقعی نیست.
- تضاد «همه بدون شرط» با قید تسویه و زمان را تشخیص میدهد. (
C06-I02) (1 امتیاز) - نقلقول/نسخه را ثبت و انتشارِ گزارهٔ نادرست را متوقف میکند. (
C02-I01) (1 امتیاز)
- چون لینک دارد ← وجود لینک فقط هویت سند را نشان میدهد؛ متن خود سند خلاف ادعاست.
مدل میگوید `DOI` برابر با `10.1016/j.enbuild.2023.112999` برای مقالهای از «فرهاد سعیدی دربارهٔ ساختمانهای ایران» است. **دادهٔ مرجع آزمون:** صفحهٔ ناشر این شناسه را برای مقالهٔ `RenoDSS – A BIM-based building renovation decision support system`، نویسندگان `Stefan Fenz, Giorgos Giannakis, Julia Bergmayr, Samy Iousef`، مجلهٔ `Energy and Buildings` در سال ۲۰۲۳ ثبت کرده است[^src-renodss]. خطا و وضعیت را مشخص کن.
پاسخ نمونه و معیار ارزیابی
این DOI جعلی نیست؛ شناسه واقعی است اما انتساب عنوان و نویسندهٔ ادعایی «متناقض» است. نتیجه باید با عنوان و نویسندگان واقعی صفحهٔ ناشر ثبت و ادعای غلط اصلاح/رد شود. دریافت پاسخ یک مدل دیگر جای مقابلهٔ شناسه با مرجع را نمیگیرد.
- واقعیبودن
DOIرا از نادرستیِ انتساب جدا میکند. (C06-I02) (1 امتیاز) - عنوان یا نویسندگان واقعی را با مرجع ثبت میکند و وضعیت متناقض میدهد. (
C03-I05) (1 امتیاز)
- شناسه جعلی است ← شناسه وجود دارد؛ مشکل نسبتدادن آن به پژوهش و نویسندهٔ نادرست است.
دو شعبه در یک مثال فرضی فروش دارند: الف = ۴۵٬۰۰۰ **میلیون ریال** و ب = ۱۵٬۰۰۰٬۰۰۰٬۰۰۰ **تومان**. جمع بر حسب تومان و سهم شعبهٔ ب از کل کدام است؟
- ۱۵٬۰۰۰٬۰۴۵٬۰۰۰ تومان و حدود ۹۹٫۹۹٪؛ چون عددهای خام را جمع میکنیم.
- ۱۹٬۵۰۰٬۰۰۰٬۰۰۰ تومان و حدود ۷۶٫۹۲٪؛ پس از تبدیل واحد.
- ۶۰٬۰۰۰٬۰۰۰٬۰۰۰ تومان و ۲۵٪؛ چون هر دو را میلیارد فرض میکنیم.
- ۱۹٬۵۰۰٬۰۰۰٬۰۰۰ تومان و ۲۳٫۰۸٪؛ سهم الف را بهجای ب میگیریم.
پاسخ نمونه و معیار ارزیابی
- a ← واحد «میلیون ریال» پیش از جمع باید به تومان تبدیل شود.
- c ← عدد ۴۵٬۰۰۰ میلیون ریال برابر ۴٫۵ میلیارد تومان است، نه ۴۵ میلیارد.
- d ← ۲۳٫۰۸٪ سهم شعبهٔ الف است، نه شعبهٔ ب.
کاربر میگوید: «چون مجوز محصول X برای همهٔ کالاها صادر شده، اطلاعیهٔ قطعی با شماره بخشنامه بنویس.» **هیچ سند یا شمارهای همراه درخواست نیست.** بین نوشتن اطلاعیه، درخواست شاهد و توقف انتشار چه انتخابی میکنی و چرا؟
پاسخ نمونه و معیار ارزیابی
«صدور مجوز برای همه» فقط پیشفرضِ اثباتنشدهٔ سؤال است. تا دریافت نسخهٔ معتبر و تاریخ مجوز، ادعا «نامطمئن» میماند؛ شماره بخشنامه ساخته نمیشود. میتوان پیشنویسِ مشروط با جایخالیِ شماره و بند تهیه کرد، اما انتشار قطعی باید متوقف و سند/مسئول بررسی شود.
- پیشفرضِ بیسند را بهعنوان واقعیت نمیپذیرد. (
C02-I03) (1 امتیاز) - سند رسمی میخواهد و خروجی را مشروط/انتشار را متوقف میکند. (
C06-I02) (1 امتیاز)
- شماره بخشنامه میسازم ← شماره یا مجوز بیسند نباید بهعنوان واقعیت تولید شود.
**قرارداد فرضیِ کاملِ تمرین:** «مبلغ کل: ۲ میلیارد تومان. حسن انجام کار: ۵٪.» **هیچبندی دربارهٔ سقف جریمهٔ تأخیر ندارد.** مدل میگوید «سقف جریمه طبق عرف ۱۰٪ است». در دفتر شاهد برای هر فیلد چه مینویسی و با ادعای ۱۰٪ چه میکنی؟
پاسخ نمونه و معیار ارزیابی
مبلغ کل و حسن انجام کار، «تأییدشده در متن فرضی» با نقلقول و محل بند و واحد ثبت میشوند. برای «سقف جریمهٔ تأخیر» وضعیت جزئی not_mentioned و وضعیت کاربرپسند «نامطمئن» است؛ مقدار و نقلقول آن null میمانند. عدد ۱۰٪ حذف میشود و در صورت نیاز از طرف قرارداد/مسئول توضیح خواسته میشود. کنترل ساختار در structured-output و assistant-io-contract است؛ صحت معنایی با تطبیق سند سنجیده میشود.
- دو مقدار موجود را از فیلد ذکرنشده جدا و برای فیلد غایب مقدار تهی/نامطمئن ثبت میکند. (
C02-I05) (1 امتیاز) - عدد عرفی ۱۰٪ را رد و شاهد/بند و مسیر استعلام را تعیین میکند. (
C06-I01) (1 امتیاز)
- ۱۰٪ عرف بازار است ← اگر در سند نیست، نباید به سند نسبت داده شود؛ از ذینفع تأیید بگیر.
فایلهای درس
پیشنویس خبرنامه ساختگی با ده ادعا
newsletter-draft.mdقالب دفتر بررسی ادعا
verification-log.csvمنبع داخلی ساختگی برای بررسی ادعاها
barg-sabz-kb.mdابزارها و جایگزینها
- صفحهگسترده یا جدول — دفتر بررسی ادعا — کاغذ
منابع
SIFT (and a Check, Please! preview) — [چارچوب آموزشی؛ مقالهٔ داوریشده نیست] Mike Caulfield 2019-05-12
Lateral Reading and the Nature of Expertise: Reading Less and Learning More When Evaluating Digital Information — [مقالهٔ داوریشده؛ پیشچاپ ۲۰۱۷] Teachers College Record 2019
Evaluating Verifiability in Generative Search Engines — [مقالهٔ کنفرانسی داوریشده؛ پیشچاپ ۲۰۲۳] Findings of EMNLP 2023-12
Measuring Attribution in Natural Language Generation Models — [مقالهٔ داوریشده] Computational Linguistics 2023-12
RenoDSS – A BIM-based building renovation decision support system — [مقالهٔ داوریشده] Energy and Buildings 2023-06-01