مرز دندانه‌دار: همکاری سنتور و سایبورگ

مرزهای متغیر توانایی مدل را با نمونه مرجع بسنج و دو شیوه تقسیم مسئولیت یا همکاری مرحله‌ای را بدون واگذاری تصمیم نهایی طراحی کن.

بعد از این درس می‌توانی

  • برای ۴ وظیفهٔ متفاوت، پاسخ مرجع و دست‌کم یک مورد دام‌دار تعریف کند (C03-I01، C03-I02).
  • در ۳ از ۴ سناریوی ساختگی، Centaur و Cyborg را بر اساس نیاز به بازبینی میانی انتخاب و مستدل کند (C02-I04، C05-I01).
  • نتیجه آزمون هر جزء را با PASS/FAIL/NOT_EVALUABLE و شاهد ثبت کند (C06-I01، C02-I05).
  • برای یک تصمیم اثرگذار، نقطه توقف و امضای انسانی پیش از اقدام تعیین کند (C05-I05، C06-I05).

چرا این درس مهم است

سناریوی ساختگی: رها، مسئول کنترل کیفیت سفارش‌های یک فروشگاه اینترنتی در تبریز، از هوش مصنوعی برای بهترکردن متن توضیح کالا کمک گرفت و راضی بود. روز بعد همان روش را برای استنتاج موجودی واقعی انبار از چند گزارش ناسازگار به کار برد و پاسخ غلطِ اما قانع‌کننده دریافت کرد. تجربهٔ موفقِ دیروز مجوز اعتماد در مسئلهٔ امروز نیست.

این درس نشان می‌دهد مرز توانایی ابزار برای همه کارها یکسان نیست؛ سپس دو شکل همکاری تقسیمِ بخش‌ها و رفت‌وبرگشت مرحله‌ای را روی یک کار واقعی طراحی می‌کنی.

مفاهیم کلیدی

  • [استاندارد کاربردی] `Jagged Technological Frontier`: توانایی مدل روی کارهایی که برای انسان ظاهراً هم‌سخت‌اند می‌تواند بسیار متفاوت باشد؛ این مرز با مدل، داده و زمان تغییر می‌کند.
  • [استاندارد طراحی] `Centaur`: الگوی تمثیلی تقسیم مسئولیت؛ انسان بخش‌هایی مانند تصمیم، داده مرجع و امضا را نگه می‌دارد و مدل بخش‌های مشخصِ کم‌ریسک را انجام می‌دهد.
  • [استاندارد طراحی] `Cyborg`: الگوی تمثیلی همکاری نزدیک و چندنوبتی؛ انسان و مدل در چند گام رفت‌وبرگشت می‌کنند، اما کنترل شواهد و تصمیم نهایی همچنان با انسان است.
  • [اصل پایدار] `Automation Bias`: خروجی روان یا سابقه موفق مدل می‌تواند قضاوت مستقل را کمرنگ کند؛ برای شکستن آن، نمونهٔ بدون ابزار و موارد آزمون مخالف لازم است.
  • [ابزار؛ تاریخ ۲۰۲۶-۱۱-۰۷] عملکرد مدل خاص و جای دکمه‌ها تاریخ‌دار است؛ این درس هیچ مدل مشخصی را «همیشه داخل مرز» فرض نمی‌کند.

مدل ذهنی

جعبه‌ابزار نجار: پیچ‌گوشتی عالی شاید روی پیچ کار کند اما روی میخ نه. از موفقیت آن در پیچ نمی‌توان نتیجه گرفت در کوبیدن میخ هم درست است. دربارهٔ مدل زبانی نیز قضاوت باید وظیفه‌محور و نسخه‌محور باشد.

در روش Centaur می‌گویی «طبقه‌بندی متن ساده با مدل؛ سنجش عددها و تصمیم خرید با من». در روش Cyborg می‌گویی «من فرضیه می‌نویسم؛ مدل ضدنمونه می‌دهد؛ من فرض را با سند اصلاح می‌کنم؛ مدل متن نهایی را آماده می‌کند؛ من امضا می‌کنم». هر دو می‌توانند خوب یا بد اجرا شوند.

گام‌به‌گام

گام ۱: وظیفه را به واحدهای قابل آزمایش بشکن

در یک شرکت پخش ساختگی، «آماده‌سازی پیشنهاد سفارش» را به چهار جزء جدا می‌کنیم: خلاصهٔ متن سفارش، تبدیل تعداد به جدول، بررسی تطبیق با موجودی تاییدشده، و تصمیم نهایی سفارش. قضاوت درباره هر جزء باید مستقل باشد؛ آسان‌بودن یک جزء به معنای امن‌بودن بقیه نیست.

جزء کارآزمون با پاسخ مرجعخطر محتملنقطه کنترل انسانی
مرتب‌سازی متن سفارشمطابقت همه اقلام با متن نمونهحذف قلمبازخوانی ردیف‌های خروجی
محاسبه جمع سفارشمحاسبه دستی یا صفحه‌گستردهعدد درست‌نماتطبیق واحد و مجموع
نتیجه‌گیری از دو گزارش ناسازگاروجود یا نبود شاهد کافیساخت فرض و منبعتوقف با «نامطمئن»
ثبت سفارش واقعیتأیید متن و اقلام نسخه دقیقاقدام اثرگذار و تکراریتأیید پیش از اقدام

گام ۲: آزمون کوچک دوطرف مرز طراحی کن

  1. برای هر جزء یک مثال عادی و یک مثال دام‌دار با پاسخ مستقل آماده کن.
  2. قبل از مدل، پاسخ/معیار مرجع و درجه اطمینان را ثبت کن.
  3. مدل را روی ورودی یکسان اجرا و نتیجه را همراه نسخه و تاریخ ثبت کن.
  4. نتیجه را با مرجع مقایسه کن: PASS، FAIL یا NOT_EVALUABLE (وقتی شاهد کافی نداری).
  5. در خطاهای مهم، مدل را در همان جزء غیرقابل اتکا تا آزمون بعدی فرض کن؛ این طبقه‌بندی دائمی نیست.

گام ۳: `Centaur` یا `Cyborg` را با معیار انتخاب کن

معیارCentaur / تقسیم وظایفCyborg / همکاری مرحله‌ای
مرز نقش روشن و خروجی قابل تحویلمعمولاً مناسب‌ترممکن است بیش‌ازحد رفت‌وبرگشت ایجاد کند
کیفیت نتیجه به بازبینی میانی و اصلاح تدریجی وابستهممکن است انعطاف کم داشته باشدمی‌تواند مفید باشد
حساسیت داده یا اقدام بیرونیمرز انسانی واضح‌تر طراحی کناگر انتخاب شد، دروازه هر مرحله را مشخص کن
اثر بر یادگیریمهارت انسانی را جدا تمرین کناولین فرضیه از انسان؛ مدل بعد از آن

این جدول پیشنهاد طراحی است، نه اینکه پژوهش نشان داده یکی همیشه برتر است. برای کار واقعی، آزمایش نمونه و شواهد تعیین‌کننده‌اند.

گام ۴: قرارداد توقف و بازگشت به انسان بنویس

وظیفه: [نام جزء]
ورودی مجاز: [داده ساختگی/عمومی]
مرجع آزمایش: [پاسخ انسانی یا فرمول]
نقش مدل: [پیشنهاد/مرتب‌سازی، بدون اقدام بیرونی]
نقش انسان: [فرضیه، بررسی شاهد، تصمیم]
شرط توقف: نبود مرجع کافی / تعارض عددها / درخواست اقدام بیرونی
خروجی: PASS | FAIL | NOT_EVALUABLE + یک شاهد
بازآزمایی: پس از تغییر مدل، دستور یا داده

گام ۵: مرز را تاریخ‌دار ثبت کن

جدول محلی را با تاریخ، نوع کار، ورودی آزمایش و نسخهٔ مدل (اگر معلوم است) نگه دار. اگر نسخه نامعلوم است، نامعلوم بنویس. برچسب «با این مثال جواب داد» از «این ابزار در این حوزه قابل اعتماد است» دقیق‌تر است.

مثال‌ها

پیاده‌سازی عملی

کارگاه ۱۸ دقیقه‌ای: از داده‌های زیر که کاملاً ساختگی‌اند استفاده کن: سفارش الف ۷ جعبه، سفارش ب ۱۲ جعبه، سفارش ج ۶ جعبه؛ موجودی تأییدشده ۲۰ جعبه است. کار فقط پیشنهاد است و هیچ سفارشی ثبت نمی‌شود.

  1. ۲ دقیقه: خودت جمع سفارش‌ها (=۲۵) و کمبود (=۵) را روی کاغذ بنویس.
  2. ۵ دقیقه: برای جزء «خلاصه سفارش» و جزء «پیشنهاد موجودی» یک نمونه عادی و یک نمونه ناسازگار بساز (مثلاً سفارش ب واحد بسته دارد، نه جعبه).
  3. ۵ دقیقه: هر جزء را به Centaur یا Cyborg بسپار؛ بگو چه داده یا تصمیمی نزد انسان می‌ماند.
  4. ۴ دقیقه: خروجی ابزار اختیاری را با مرجع مقایسه و PASS/FAIL/NOT_EVALUABLE ثبت کن.
  5. ۲ دقیقه: شرط توقف و مسئول امضا را بنویس.

اگر هیچ ابزار AI نداری، یک «پاسخ فرضی مدل» عمداً دارای اشتباهِ واحد بنویس و مسیر شناسایی آن را ارزیابی کن. این مسیر به حساب پولی یا دسترسی منطقه‌ای وابسته نیست.

اشتباه‌های رایج

اشتباهچرا غلط است؟اصلاح
تبدیل یک موفقیت به حکم «مدل در تحلیل عالی است»مرز وظیفه‌محور استهر جزء را با ورودی مرجع خود بسنج
برداشت عدد ۱۹ به‌عنوان درصد خطای همه مشاغل۱۹ واحد درصد افت میانگین در یک مسئله مشخص بودجمعیت، واحد و تکلیف را دقیق ذکر کن
انتخاب Cyborg صرفاً چون پیشرفته‌تر به نظر می‌رسدرفت‌وبرگشت اضافه و قضاوت پنهانساده‌ترین الگوی قابل کنترل را انتخاب کن
داوری فقط بر اساس روانی متنممکن است جواب خوش‌بیان غلط باشدصحت و انسجام را جدا بسنج
نداشتن حالت توقفاقدام با داده متناقضNOT_EVALUABLE و ارجاع انسانی

عیب‌یابی

مدل توضیح قانع‌کننده داد ولی نتیجه غلط بود.

معیار صحت مستقل نداشتی.

پاسخ مرجع را جدا از زیبایی نوشتار بسنج.

دو ستون صحت/انسجام بگذار و خطا را FAIL ثبت کن.

دو کار مشابه نتایج خیلی متفاوت دارند.

ممکن است یکی بیرون مرز توانایی نسخه فعلی باشد.

واحدها، شرط‌های پنهان، داده ناقص و نسخه را مقایسه کن.

آزمون‌های دام‌دار مستقل طراحی و مرز را تاریخ‌دار کن.

الگوی همکاری خیلی کند است.

رفت‌وبرگشت برای کار ثابت ضروری نیست.

آیا خروجی میانی تصمیم انسانی جدید لازم دارد؟

در کار ثابت به Centaur یا Workflow ساده‌تر برگرد.

هیچ مرجع مستقلی برای سنجش نداریم.

ابزار معیار حقیقت نشده است.

منبع یا محاسبه قابل بررسی وجود دارد؟

کار را NOT_EVALUABLE بگذار؛ تأیید بیرونی یا انسان متخصص بخواه.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 10 دقیقه

چهار جزء کار را برچسب بزن: (۱) بازنویسی عنوان، (۲) جمع ۲۵ جعبه، (۳) اعلام علت کمبود بدون اطلاعات تحویل، (۴) ارسال سفارش به تأمین‌کننده. برای هر جزء یک الگوی همکاری، یک آزمون مرجع و یک شرط توقف پیشنهاد بده.

راه‌حل نمونه
  1. ۱: Centaur، تطبیق هر عنوان با فهرست اصلی.
  2. ۲: Centaur، جمع مستقل ۷+۱۲+۶=۲۵.
  3. ۳: Cyborg فقط برای طرح سؤال؛ اگر اطلاعات واقعی نیست توقف NOT_EVALUABLE.
  4. ۴: توقف تا تأیید انسان بر نسخه سفارش.

معیار: برای حداقل ۳ جزء از ۴ جزء، هم شاهد مرجع و هم سقف اقدام مشخص باشد.

چالش

تمرین · 25 دقیقه

چالش تکمیلی: برای یک کار واقعیِ کم‌خطر یا مثال ساختگی، ۴ مورد آزمون طراحی کن: ۲ مورد عادی و ۲ مورد دام‌دار. حداقل یک مورد باید «متن روان اما نتیجه اشتباه» بسازد. روش Centaur یا Cyborg را انتخاب و علت را با دو قید توضیح بده.

خروجی: جدول شناسه، ورودی، انتظار مستقل، نتیجه AI (اگر اجرا شد)، حکم، صاحب تصمیم و تاریخ. اگر از مدل استفاده نکردی، نتیجهٔ AI را «اجرا نشد» بنویس؛ آن را PASS حساب نکن.

راه‌حل نمونه

نمونه قبولی: چهار مورد دارای پاسخ مرجع، یک خطای واحد یا نبود داده با حکم درست، یک شرط توقف روشن و تفکیک مسئولیت انسان/مدل. هیچ نرخ موفقیت ساختگی نباید گزارش شود.

پرسش‌های سنجش

جمع‌بندی

  • مرز توانایی مدل دندانه‌دار و زمان‌مند است؛ با یک مثال دربارهٔ همه کارها حکم نده.
  • در Centaur کارها را تقسیم می‌کنی؛ در Cyborg در چند نوبت همکاری می‌کنی. این‌ها الگوهای طراحی‌اند، نه ضمانت دقت.
  • سنجش صحت با مرجع و توقف در ابهام، مهم‌تر از متن روان است.
  • مطالعه مشاوران BCG برای طراحی تمرین الهام می‌دهد ولی ادعای قطعی درباره همه کاربران ایران نیست.

درس بعد تمرکز را از «کار مشترک» به «یادگیری ماندگار» منتقل می‌کند: learning-with-ai.

منابع پشتیبان این درس: To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI [داوری‌شده]src-bucinca، Artificial Intelligence Risk Management Framework: Generative AI Profile (AI 600-1) [راهنمای رسمی داوری‌پژوهشی نیست]src-nist.

پرسش‌های سنجش

مرز دندانه‌دار به چه معناست؟

  • همه مدل‌ها روی همه وظایف با شدت برابر خوب‌اند
  • توانایی مدل بین وظایف ظاهراً مشابه نامتوازن است
  • قیمت مدل همیشه بیانگر دقت آن است
  • مدل هیچ‌گاه نباید برای کار استفاده شود
پاسخ نمونه و معیار ارزیابی
  • a ← یافته پژوهش خلاف این است.
  • c ← قیمت معیار کافی نیست.
  • d ← نتیجه‌گیری افراطی است.

در آزمایش Dell’Acqua «حدود ۱۹» به چه اشاره دارد؟

  • ۱۹٪ کاهش دائمی هوش
  • حدود ۱۹ واحد درصد کاهش میانگین درستی در یک مسئله خارج از مرز نسبت به کنترل
  • ۱۹ مدل مختلف
  • ۱۹٪ خطای همه کارهای تجاری
پاسخ نمونه و معیار ارزیابی
  • a ← IQ بررسی نشده است.
  • c ← به تعداد مدل‌ها اشاره ندارد.
  • d ← تعمیم نادرست است.

برای نوشتن پاسخ به مشتری ناراضی، تفاوت اجرای `Centaur` و `Cyborg` را با یک جمله برای هرکدام توضیح بده.

پاسخ نمونه و معیار ارزیابی

در Centaur انسان واقعیت و تأیید را نگه می‌دارد و مدل متن را بازنویسی می‌کند. در Cyborg انسان و مدل مرحله‌ای سؤال، شاهد و پیش‌نویس را ردوبدل می‌کنند و ارسال همچنان با انسان است.

  • تفکیک مسئولیت Centaur (1 امتیاز)
  • تعامل مرحله‌ای Cyborg (1 امتیاز)
  • حفظ اختیار نهایی انسان (1 امتیاز)

    یک مورد آزمون دام‌دار برای گزارش سفارش با اختلاف واحد تعریف کن: ورودی، پاسخ مرجع و حکم در ابهام.

    پاسخ نمونه و معیار ارزیابی

    ورودی: ۷ جعبه و ۱۲ بسته با نرخ تبدیل نامعلوم؛ پاسخ مرجع: جمع برحسب جعبه ناممکن؛ حکم NOT_EVALUABLE و درخواست نرخ تبدیل، بدون عددسازی.

    • دام واحد واقعی (1 امتیاز)
    • پرهیز از محاسبه بدون تبدیل (1 امتیاز)
    • توقف در ابهام (1 امتیاز)

      مدل در ۴ مورد تست درست جواب داده؛ همکار می‌گوید «پس هر سفارش را بدون تأیید ثبت کنیم». چه می‌گویی؟

      پاسخ نمونه و معیار ارزیابی

      خیر. چهار آزمون محدود، مجوز عام یا اختیار اقدام بیرونی نیست. باید نمونه‌های دام‌دار، تغییر ورودی/نسخه، شاهد مستقل و دروازه تأیید انسانی برای اقدام واقعی داشته باشیم.

      • رد تعمیم چهار تست (1 امتیاز)
      • شاهد و آزمون تغییر (1 امتیاز)
      • تأیید پیش از اقدام (1 امتیاز)

        ابزارها و جایگزین‌ها

        • دفترچه یا ویرایشگر متن — ثبت مستقل پاسخ‌ها، شاهد و برنامه بدون حساب آنلاین — کاغذ و قلم — فایل Markdown — LibreOffice Writer

        منابع

        Navigating the Jagged Technological Frontier [داوری‌شده؛ نسخه مجله] Dell’Acqua et al. · Organization Science / INFORMS 2026-03-11

        To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI [داوری‌شده] Buçinca et al. · Proceedings of the ACM on Human-Computer Interaction 2021-04

        Artificial Intelligence Risk Management Framework: Generative AI Profile (AI 600-1) [راهنمای رسمی داوری‌پژوهشی نیست] NIST 2024-07-26

        دوره

        فکر و یادگیری با هوش مصنوعی