Decision Boundaries: When Not to Use AI

Choose AI delegation level by impact and review costs; counter over-reliance with meaningful human checks, uncertainty handling, and stop controls.

بعد از این درس می‌توانی

  • با پنج پرسش دربارهٔ برگشت‌پذیری، اثر بر افراد، مسئولیت، هزینهٔ بررسی و داده، نقش مناسب هوش مصنوعی را برای هر بخش کار تعیین کند.
  • اتکای بیش‌ازحد و بازبینی نمایشی را تشخیص دهد و کنترل شناختیِ قابل آزمون برای پذیرش خطا طراحی کند.
  • در کمبود سند، تعارض یا ابهام ورودی تصمیم روشنِ پرسش تکمیلی، استعلام، توقف یا ارجاع به مسئول همراه با شاهد ثبت کند.

چرا این درس مهم است

سناریوی ساختگی: مدیر فروشگاه «برگ سبز» از دستیار خواست رزومه‌ها را بخواند، نامزدها را حذف کند و ایمیل رد بفرستد. بعد مشخص شد برخی جدول‌های سوابق کاری به‌درستی خوانده نشده‌اند. چون نتیجهٔ مدل بدون بازبینی معنادار به اقدام تبدیل شده بود، نه دلیل تصمیم قابل دفاع بود و نه مسئول آن روشن.

این درس جایگزین «چطور ادعا را بررسی کنیم» نیست؛ آن روش در verifying-ai-output است. اینجا تصمیم می‌گیریم چه کاری را به مدل بسپاریم، کدام قسمت باید پیش از اقدام بررسی شود و کی اصلاً نباید از آن استفاده کنیم. توضیح قانع‌کنندهٔ مدل و رأی موافق چند مدل به‌تنهایی شاهد مستقل نیستندsrc-bansal-explanations.

مفاهیم کلیدی

مرز درس: معماری خطای مدل در why-models-fail، بررسی سند در verifying-ai-output، کنترل حریم خصوصی در data-privacy و اجرای فنی تأیید در human-approval آموزش داده می‌شود. اینجا فقط تصمیمِ واگذاری اختیار، کنترل انسانی و رفتار در ابهام را تمرین می‌کنیم. نگاشت سنجش بدون تغییر تعاریف رسمی: C06-I04، C06-I05، C05-I05، C02-I01، C02-I05.

  • برگشت‌پذیری (`reversibility`): آیا می‌شود پیامد خطا را به‌سرعت و با هزینهٔ کم اصلاح کرد؟ انتشار عمومی، پرداخت و رد درخواست افراد معمولاً اثر ماندگار دارند.
  • سوگیری خودکارسازی (`automation bias`): گرایش به قبول پیشنهاد سامانه به‌جای بررسی شواهد؛ علامت آن می‌تواند تأیید شتاب‌زده باشد، نه صرفاً «اعتماد زیاد».
  • اتکای بیش‌ازحد (`over-reliance`): قبول توصیهٔ اشتباهِ مدل در موقعیتی که بازبینی لازم بوده؛ میزانش باید با موارد آزمون و رفتار واقعی سنجیده شودsrc-bucinca-trust.
  • کنترل شناختی (`cognitive forcing`): بازبین پیش از دیدن توصیهٔ مدل، معیار و قضاوت مقدماتی خود را ثبت کند و شواهد خام را ببیند؛ کارایی آن وابسته به طراحی و آزمون استsrc-bucinca-trust.
  • مرز دندانه‌دار توانایی (`jagged frontier`): عملکرد مدل حتی در کارهای ظاهراً مشابه یکنواخت نیست؛ آزمایش ۷۵۸ کارمند دانشی در وظایف مشاوره‌ای همین خطر تعمیم را نشان دادsrc-jagged-frontier.
  • بازبینی معنادار (`human oversight`): فرد مشخص، زمان و معیار کافی، دسترسی به دادهٔ اصلی، و اختیار واقعی رد یا توقف داشته باشد.
  • ابهام ورودی در برابر شکاف دانشی: نوع قطعهٔ ذکرنشده را از کاربر بپرس؛ بخشنامهٔ جاریِ در دسترس‌نبودن نیاز به یافتن سند یا توقف دارد. تکرار پاسخ مدل شاهد مستقل نیست.
  • پروندهٔ تصمیم (`decision record`): نوع کار و پیامد، سطح اختیار، شاهد، شکاف، مسئول، نقطهٔ تأیید، تصمیم افشا و نتیجهٔ توقف/اجرا.

مدل ذهنی

هوش مصنوعی را دستیاری با چهار سطح اختیار تصور کن: (۱) انجام مستقیم فقط برای کار آزمون‌شده، کم‌ریسک و برگشت‌پذیر؛ (۲) پیش‌نویس با بازبینی پیش از انتشار؛ (۳) کمک به متخصص/مسئولی که خودش تصمیم می‌گیرد؛ (۴) ندادن این وظیفه به AI. «نه» می‌تواند فقط برای بخش تصمیم یا اقدام باشد.

چهار سطح اختیار و دروازهٔ تصمیم انسانی: پیامد خطا و شواهد آزمون → پنج پرسش ریسک → سطح ۱ تا ۴ → دروازهٔ شاهد/واحد/شرط → تأیید، رد، استعلام یا توقف توسط انسان مسئول.

چهار سطح اختیار و دروازهٔ تصمیم انسانی

هرچه پیامد خطا شدیدتر یا دشوارتر برای بازگشت باشد، اختیار مدل کمتر و کنترل انسانی پررنگ‌تر است. متوسط بالای نمرهٔ یک سامانه مجوز عبور از یک خطای بحرانی نیست. این سطح‌بندی، ابزار آموزشی loOkiYar است و به‌عنوان استاندارد قانونی جهانی معرفی نمی‌شود.

مرز تشبیه: یک دستیار انسانی ممکن است مسئول قانونی تصمیم باشد؛ مدل زبانی نیست. حتی در سطح ۱، نقش پاسخ‌گویی با انسان/سازمان است. به‌جای «به برند مدل اعتماد دارم» بپرس «در همین کار با همین داده و پیامد، کدام خطاها در آزمون دیده شده و چه کنترلی وجود دارد؟».

گام‌به‌گام

گام ۱: پیش از واگذاری، پنج پرسش را جواب بده

پرسشنشانهٔ محدودکردن اختیار
۱. برگشت‌پذیری: اگر خروجی غلط بود، چه می‌شود؟ارسال پول، رد متقاضی، انتشار عمومی یا امضای تعهد به‌سادگی برنمی‌گردد.
۲. اثر بر افراد: چه کسی آسیب می‌بیند؟استخدام، سلامت، حق مشتری یا دسترسی به خدمات تحت تأثیر است.
۳. مسئولیت: کدام نقش نتیجه را می‌فهمد و تأیید می‌کند؟نام/نقش مسئول و اختیار توقف معلوم نیست.
۴. هزینهٔ بررسی: مرور مستقل ارزان‌تر از انجام دستی است؟برای بررسی باید کل کار را از نو انجام داد؛ شاید AI مزیتی ندارد.
۵. داده: آیا مجوز پردازش و افشا وجود دارد؟اطلاعات حساس یا محرمانه بدون مسیر مجاز لازم است؛ مرجع data-privacy است.

تعداد پاسخ‌های نگران‌کننده فقط سرنخ است، نه فرمول قطعی: شدت یک خطر می‌تواند به‌تنهایی سطح ۳ یا ۴ را لازم کند. گواهی «مدل در استخراج خوب بود» به معنای مهارت در تفسیر استثنای بیمه یا اجازهٔ پرداخت نیست. اگر شواهد برای همان کار وجود ندارد، اختیار را افزایش نده.

گام ۲: سوگیریِ اعتماد را از مسیر تصمیم حذف کن

  • بازهٔ کم‌ریسک: تولید ایدهٔ نام یا پیش‌نویس شخصی، با امکان اصلاح آسان، می‌تواند سطح ۱ باشد.
  • بازهٔ میانی: پاسخ عمومی مشتری یا اطلاعیهٔ سازمانی پیش‌نویسِ سطح ۲ است؛ مسئول، سند سیاست و مرحلهٔ تأیید قبل از انتشار لازم است.
  • بازهٔ پرریسک: تصمیم دربارهٔ افراد، تفسیر قرارداد یا جابه‌جایی وجه به سطح ۳ یا ۴ می‌رود؛ استخراج دادهٔ مجاز ممکن است جداگانه با کنترل به AI سپرده شود.
  • کنترل شناختی: ابتدا داده/تغییر واقعی و معیار پذیرش را نشان بده، قضاوت مقدماتی بازبین را بگیر، سپس توصیه و دلیل AI را نشان بده؛ با موردهای خطای عمدی، نرخ پذیرش اشتباه و زمان بازبینی را بسنج. مطالعه Buçinca و همکاران در سال ۲۰۲۱ نشان داد برخی کنترل‌ها در همان تکالیف آزمایشی اتکا را کم کردند، نه در همهٔ محیط‌هاsrc-bucinca-trust.

گام ۳: عدم قطعیت را به اقدام مناسب تبدیل کن

چهار حالت را تفکیک کن: (الف) ورودی ناقص → سؤال روشن‌کننده؛ (ب) سند جدید موجود نیست → بازیابی منبع معتبر یا «نامطمئن»؛ (ج) دو سند یا مدل اختلاف دارند → بازگشت به اصل سند و ثبت اختلاف، نه رأی‌گیری مدل‌ها؛ (د) خطای بحرانی در واحد، شرط یا حق افراد → توقف اقدام و ارجاع به انسان. «اطمینان بالا/متوسط/پایین» برچسب کیفیِ شاهد است، نه احتمال آماری. بررسی جزئی سند و وضعیت سه‌گانه در verifying-ai-output است.

پژوهش Bansal و همکاران در سه مجموعه‌دادهٔ آزمایشی نشان داد توضیح AI لزوماً همکاری انسان و مدل را بهتر نمی‌کند و گاهی پذیرش پیشنهاد درست و غلط را با هم افزایش می‌دهدsrc-bansal-explanations. پس به‌جای بلندکردن توضیح مدل، کنترل مستقلِ قابل رد و شاخص رفتاری بساز. در تصمیم‌های حساس، میانگین خوب یا پنج پاسخ مشابه مدل جای سند اولیه را نمی‌گیرد.

  1. مسئول: یک شخص یا نقش معین با اختیار پذیرش، رد و توقف؛ نه «سیستم» یا «همه».
  2. نقطهٔ بازبینی: پیش از انتشار/پرداخت/رد درخواست، دادهٔ اصلی و معیار عینی و آستانهٔ توقف نمایش داده شود. طراحی فنی در human-approval است.
  3. افشا و ثبت تصمیم: نیاز به اطلاع‌رسانی را با قانون، قرارداد، سیاست پلتفرم و اثر بر مخاطب بسنج؛ نوع استفاده از AI، شواهد و تصمیم بازبین ثبت شود. ادعای الزام همگانی به افشا نکن.

گام ۴: «نه» را برای هر بخش کار جدا بگو

مثلاً در رسیدگی به رزومه، استخراج مهارت‌ها می‌تواند پیش‌نویس با بررسی باشد؛ رد نهایی و ارسال پیام به متقاضی بدون تصمیم انسانی ممنوع است. در یک قرارداد، نقل‌قول بندها به کارشناس کمک می‌کند، ولی تصمیم امضا یا پرداخت با فرد مسئول می‌ماند. برای تجزیهٔ عمومی وظیفه به decomposition-chaining، برای ارزیابی خروجی به verifying-ai-output و برای ساخت دروازهٔ اجرایی به human-approval ارجاع بده.

مثال‌ها

پیاده‌سازی عملی

کاربرگ تصمیم — ۱۲ دقیقه. از کارت‌های هشت‌گانهٔ تمرین استفاده کن. برای هر موقعیت، پنج پرسش، سطح اختیار ۱ تا ۴، مسئول، نقطهٔ بررسی و اقدام هنگام خطا را ثبت کن؛ اگر موقعیت ساختگی است، همین فرض‌بودن را مشخص کن.

  1. برای دست‌کم یک کارت، ابتدا خودت معیار پذیرش و خطر اصلی را بنویس، بعد پیشنهاد مدلِ فرضی را بخوان؛ بگو کدام شواهد را خارج از توضیح مدل لازم داری.
  2. در کارت مربوط به مشتری، استخدام یا وجه، تصمیم دربارهٔ افشا، مسیر اعتراض/ارجاع و توان واقعی بازبین برای رد را اضافه کن.
  3. در یک کارت با اطلاعات ناقص، مشخص کن باید از کاربر سؤال بپرسی، سند بگیری یا از اقدام صرف‌نظر کنی؛ «نامطمئن» را با «غلط» یکی ندان.

خروجی: یک جدول تصمیم برای هشت کارت و یک پروندهٔ کامل شامل «سند/شکاف، کنترل، مسئول و نقطهٔ توقف». این تمرین به سرویس AI نیاز ندارد؛ هدفش مهارت تصمیم‌گیری انسانی است.

اشتباه‌های رایج

اشتباهپیامداصلاح
یک درجه برای کل فراینداستخراج کم‌ریسک با پرداخت پرریسک یکسان تلقی می‌شودبرای هر بخش اختیار جدا تعیین کن
اعتماد به توضیح مفصل مدلبازبین به‌جای سند، روایت AI را تأیید می‌کندشاهد و قضاوت مقدماتی را پیش از توصیه نمایش بده
بازبینی با دکمهٔ بی‌اختیارتأیید نمایشی و عبور خطای بحرانیمعیار، زمان، اختیار رد و شاخص کشف خطا
رأی اکثریت چند مدلاشتباه مشترک، سند مستقل نمی‌شودبازگشت به سند و فرد مسئول
ابهام کاربر = عدم قطعیت تصادفی ذاتیبه‌جای پرسش شفاف‌ساز، حدس می‌زنیمجزئیات ضروری را از کاربر بخواه
نبود منبع = جواب احتمالی قطعیتصمیم بر اساس شواهد سال قبل گرفته می‌شود«نامطمئن»، جست‌وجوی سند یا توقف
میانگین نمرهٔ بالا با خطای بحرانییک خطای واحد/حق افراد پنهان می‌شوددروازهٔ توقف جدا از میانگین امتیاز
بازبین یا مسئول نامشخصپیامد تصمیم بدون پاسخ‌گو می‌ماندنام نقش و امضای تصمیم را ثبت کن

اشکال‌زدایی

سامانه پیشنهاد رد درخواست مشتری یا پرداخت را اجرا کرده و بعداً معلوم شده یک شرط سند را جا انداخته است.

توانایی استخراج یا نوشتن متن با صلاحیت تصمیم و اقدام اشتباه گرفته شده و کنترل پیش از اجرا وجود نداشته است.

فهرست مراحل را جدا کن؛ نشان بده کدام مرحله سند معتبر، مسئول و مجوز اقدام داشته است.

اقدام‌های پرریسک را متوقف کن؛ تفسیر، کنترل شرط و تأیید مسئول را پیش از اقدام بگذار؛ سازوکار اجرایی در human-approval است.

بازبین تقریباً همهٔ پیشنهادها را تأیید می‌کند؛ چند خطای بحرانی نیز عبور کرده‌اند.

احتمال اتکای بیش‌ازحد یا بازبینی صوری وجود دارد؛ نرخ تأیید بالا به‌تنهایی علت را مشخص نمی‌کند.

آزمون داخلیِ دارای خطاهای فرضی و برچسب‌خورده، نرخ پذیرش پیشنهاد نادرست، تشخیص خطا و زمان بررسی را اندازه بگیر.

داده و معیار را قبل از توضیح AI نمایش بده؛ ظرفیت بازبین و اختیار واقعی رد را اصلاح کن؛ تا احراز کارایی، سطح اختیار را کاهش بده.

تمرین کوتاه

تمرین · 10 دقیقه

هدف: پنج کارت منتخب را بدون تکیه بر لحن مدل طبقه‌بندی کن و برای هرکدام یک کنترل قابل آزمون بنویس.

گام‌ها: برای کارت‌های ۱، ۳، ۵، ۶ و ۸ از فایل تمرین، پنج پرسش را پاسخ بده؛ سطح اختیار را تعیین کن. سپس یک مورد «ورودی نامشخص» را از مورد «سندِ در دسترس‌نبودن» جدا کن.

معیار پذیرش: هر درجه با یک پیامد روشن و یک مسئول یا مسیر توقف همراه باشد؛ در کار با اثر بر افراد، توضیح مدل به‌تنهایی معیار پذیرش نباشد.

راه‌حل نمونه

کارت ۱ (مشتری عصبانی): سطح ۲، پیش‌نویس با بازبینی مسئول؛ کارت ۳ (پیام تسلیت): سطح ۴ برای واگذاری خود پیام، AI فقط در مرتب‌کردن فکر کمک می‌کند؛ کارت ۵ (پرسش پزشکی): سطح ۴ برای توصیهٔ تخصصی در کانال فروشگاه، معرفی کتاب مجاز است؛ کارت ۶ (ایدهٔ نام): سطح ۱ با انتخاب نهایی انسان؛ کارت ۸ (کارت هدیه): سطح ۳ یا ۴ برای انتقال یا تأیید مالی، فقط طبق KB-08 تمرین و با کنترل هویت و مسئول. در نبود نوع کالا، از کاربر جزئیات می‌خواهیم؛ در نبود نسخهٔ جدید سند، شواهد را بازیابی یا نتیجه را نامطمئن ثبت می‌کنیم.

چالش

تمرین · 20 دقیقه

موقعیت: پنج کار از کار روزمره یا مثال‌های ساختگی انتخاب کن؛ یکی دربارهٔ تصمیم مؤثر بر افراد باشد. اطلاعات خصوصی و پروندهٔ واقعی افراد لازم نیست.

  1. برای هر کار پنج پرسش را پاسخ بده و اگر چند مرحله دارد، سطح اختیار هر مرحله را جدا بنویس.
  2. یک نقطهٔ تأیید انسانی طراحی کن: سند اصلی، معیار پذیرش، بازبین، اختیار رد و زمان پیش از اقدام را مشخص کن.
  3. برای یک مورد، وضعیت سند/ابهام را از مسیر تصمیم (پرسش، استعلام، توقف، ارجاع) جدا ثبت کن.
  4. یک نمونهٔ کنترلِ بازبینی صوری را با خطای فرضی بسنج و بنویس چه چیزی را باید اندازه‌گیری کرد.

خروجی مورد انتظار: جدول پنج کار و یک پروندهٔ تصمیم با شواهد، مسئول، کنترل، نتیجهٔ مجاز و دلیل عدم واگذاریِ یک بخش.

معیار پذیرش:

  • دست‌کم یک کار پرریسک به سطح ۳ یا ۴ رسیده و دلیل آن یکی از پنج پرسش است.
  • مسئول شخص/نقش مشخص دارد و نقطهٔ بازبینی قبل از اقدام است.
  • برای تعارض یا نبود مدرک، اقدام مجاز و نقطهٔ توقف تعیین شده است.
  • معیار کشف خطا با رفتار قابل مشاهده نوشته شده، نه فقط «اعتماد کن».

راهنما: برای راستی‌آزمایی متن به verifying-ai-output و برای مهندسی کنترل اجرایی به human-approval برو؛ این درس مهارت انتخاب نقش و مرز تصمیم است.

پرسش‌های سنجش

جمع‌بندی

  • اختیار AI را برای هر بخش کار، نه با شهرت مدل، بلکه با شواهد همان کار و پنج پرسش ریسک انتخاب کن.
  • توضیح طولانیِ AI و تکرار پاسخ توسط چند مدل، منبع مستقل یا تضمین تصمیم درست نیست.
  • بازبینی مؤثر به دادهٔ اصلی، معیار پیشینی، زمان، مسئول و اختیار رد نیاز دارد.
  • ابهامِ ورودی → سؤال تکمیلی؛ شکاف سند → بازیابی/نامطمئن؛ تعارض → بازگشت به منبع؛ خطای بحرانی → توقف.
  • میانگین امتیاز بالا، خطای بحرانی را خنثی نمی‌کند؛ تصمیم آخر با انسان مسئول می‌ماند.
  • روش سند و عدد در verifying-ai-output؛ پیاده‌سازی گیت در human-approval؛ سیاست داده در data-privacy.

پرسش‌های سنجش

**فرض آزمون:** مدل برای استخراج مبلغ و تاریخ از فرم بیمه آزمون شده، اما برای تفسیر استثنای قرارداد و ارسال وجه آزمون اختصاصی ندارد. مدیر می‌خواهد هر سه مرحله را بی‌تأیید اجرا کند. سطح اختیار هر بخش و نقطهٔ توقف را تعیین کن.

پاسخ نمونه و معیار ارزیابی

استخراج می‌تواند پیش‌نویسِ سطح ۲ با سنجش مقدار/واحد باشد. تفسیر استثنا سطح ۳، با مراجعهٔ فرد مسئول به بند قرارداد و سابقهٔ پرونده است. ارسال خودکار وجه بدون تأیید مستقل در این سناریو واگذار نمی‌شود (سطح ۴ برای اقدام مستقل). وجود سند، کنترل خطا و تأیید مسئول شرط اقدام است.

  • استخراج را از تفسیر/پرداخت تفکیک و سطح اختیار متناسب تعیین می‌کند. (C05-I05) (1 امتیاز)
  • نقطهٔ کنترل انسانی و توقف قبل از پرداخت را با شاهد مشخص می‌کند. (C06-I04) (1 امتیاز)
  • کل کار سطح ۱ است ← آزمون استخراج به استنتاج قرارداد و اقدام مالی تعمیم داده نمی‌شود.

**سناریوی فرضی:** بازبین نرم‌افزار اول توضیح خوش‌بیان مدل را می‌بیند و تقریباً بلافاصله «تأیید» می‌کند. طراح می‌خواهد توضیح `AI` را طولانی‌تر کند. کدام طراحی بازبینی بهتر است و با چه شاخصی اثرش را می‌سنجی؟

پاسخ نمونه و معیار ارزیابی

افزایش طول توضیح به‌تنهایی کنترل نیست. ابتدا تغییر خام و معیار پذیرش نشان داده شود، بازبین خطر یا قضاوت مقدماتی خود را ثبت کند؛ سپس توصیهٔ مدل نمایش داده شود و اختیار رد/توقف وجود داشته باشد. در آزمون با خطاهای ساختگی، پذیرش پیشنهاد نادرست، نرخ کشف خطا، زمان و فشار کار بازبین اندازه‌گیری شود. اثر مثبت همگانی تضمین‌شده نیستsrc-bucinca-trustsrc-bansal-explanations.

  • کنترل مستقل و قضاوت پیشینی را جایگزین اتکا به توضیح مدل می‌کند. (C02-I01) (1 امتیاز)
  • شاخص‌های رفتاری/هزینهٔ بازبینی را برای آزمون معرفی می‌کند. (C05-I05) (1 امتیاز)
  • فقط توضیح طولانی‌تر ← توضیح بیشتر ممکن است پذیرش پیشنهاد درست و غلط را با هم بالا ببرد.

(الف) کاربر «تعرفهٔ قطعات یدکی» را بدون نوع قطعه، کد کالا و تاریخ می‌خواهد. (ب) کاربر بخشنامهٔ هفتهٔ گذشته را می‌پرسد اما فقط سند سال قبل در دسترس است. مدل پنج بار یک پاسخ یکسان می‌دهد. اقدام درست چیست؟

  • چون پنج پاسخ برابرند، هر دو را تأییدشده اعلام کنیم.
  • الف را تصادفیِ ذاتی بدانیم؛ ب را با سند سال قبل قطعی اعلام کنیم.
  • برای الف نوع/کد/تاریخ را بپرسیم؛ برای ب سند جاری را بجوییم یا «نامطمئن» بمانیم؛ رأی تکراری شاهد مستقل نیست.
  • برای هر دو پاسخ حدسی بدهیم و فقط لحن را محتاط کنیم.
پاسخ نمونه و معیار ارزیابی
  • a ← پنج پاسخ مشابهِ یک مدل، تأیید مستقل نیست.
  • b ← ابهام نوع کالا را می‌توان با پرسش رفع کرد و سند سال قبل بخشنامهٔ جاری را اثبات نمی‌کند.
  • d ← لحن محتاط بدون مدرک، نتیجهٔ قابل اتکا ایجاد نمی‌کند.

**فرض آزمون:** یک داور هوش مصنوعی به خلاصهٔ فنیِ ۲۰جمله‌ای نمرهٔ میانگین ۴٫۸ از ۵ می‌دهد؛ اما در یک جمله **خطای بحرانیِ واحد اندازه‌گیری** وجود دارد. پیش از انتشار چه دروازه‌ای طراحی می‌کنی و چه کسی تصمیم می‌گیرد؟

پاسخ نمونه و معیار ارزیابی

انتشار متوقف می‌شود. کنترل اجباریِ واحد/مقدار و نقل‌قول/بند مرتبط باید جدا از نمرهٔ میانگین اجرا شود؛ عبور از خطای بحرانی ممنوع است. تطابق رشتهٔ نقل‌قول نیز جای بررسی حمایت معنایی را نمی‌گیرد. مورد اختلاف به بازبین انسانیِ مسئول با اختیار رد/اصلاح ارجاع می‌شود؛ داور AI مکمل است، نه مجوز انتشار.

  • خطای بحرانی را مستقل از نمرهٔ میانگین عامل توقف می‌داند. (C06-I01) (1 امتیاز)
  • کنترل واحد/شاهد معنایی و امضای مسئول را پیش از انتشار تعیین می‌کند. (C06-I05) (1 امتیاز)
  • ۴٫۸ از ۵ کافی است ← امتیاز تجمیعی نمی‌تواند یک خطای واحدِ بحرانی را مجاز کند.

**سناریوی فرضی:** دو مدل دربارهٔ تفسیر دو بند خسارت در مناقصه‌ای ۸۰صفحه‌ای اختلاف دارند. مدیر پیشنهاد می‌کند مدل سوم رأی بدهد و اکثریت فوراً در قیمت‌گذاری اعمال شود. اشکال کار چیست؟ چه سند، ثبت و نقطهٔ توقفی لازم است؟

پاسخ نمونه و معیار ارزیابی

رأی مدل سوم شاهد مستقل دربارهٔ متن مناقصه نیست. دو بندِ محل اختلاف تا بررسی در وضعیت «نامطمئن» می‌مانند؛ شماره صفحه/بند، دو تفسیر و اثر مالی ثبت می‌شود. مسئول متخصص متن اصلی و پیوست‌ها را بررسی می‌کند و اگر لازم بود استعلام کتبی می‌گیرد. تصمیم قیمت‌گذاریِ پرپیامد تا تعیین تکلیف متوقف است. اختلاف دو مدل به‌تنهایی ثابت نمی‌کند خودِ سند ذاتاً مبهم است.

  • رأی‌گیری مدل‌ها را جای سند و داوری مسئول نمی‌نشاند. (C02-I02) (1 امتیاز)
  • صفحه/بند و اختلاف را ثبت و اقدام پرریسک را تا بررسی متوقف می‌کند. (C06-I05) (1 امتیاز)
  • مدل سوم رأی بدهد ← تکرار یا رأی مدل، به‌تنهایی شاهد مستقلی دربارهٔ سند نیست.

فایل‌های درس

هشت موقعیت ساختگی برای تمرین تصمیم

decision-cards.md

ابزارها و جایگزین‌ها

  • کاغذ یا ویرایشگر متن — کارت تصمیم

منابع

To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-Assisted Decision-Making — [مقالهٔ داوری‌شده؛ آزمایش با ۱۹۹ شرکت‌کننده] Proceedings of the ACM on Human-Computer Interaction 2021

Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance — [مقالهٔ کنفرانسی داوری‌شده] CHI 2021

Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality — [مقالهٔ داوری‌شده؛ پیش‌چاپ ۲۰۲۳] Organization Science 2026-03-11

Course

Verification, Safety and Responsible Use