اعتبارسنجی، ایمنی و استفاده مسئولانه
بررسی ادعا تا منبع، حریم خصوصی و کمینهسازی داده، تشخیص تزریق پرامپت، و مرز اینکه چه کاری را نباید به هوش مصنوعی سپرد؛ و در پایان مالکیت، افشا، سوگیری و قانون را بشناس و سیاست استفاده از AI تیم خودت را بنویس.
آنچه یاد میگیری
- ردیابی ادعای خروجی تا منبع و ثبت سطح اطمینان
- تصمیم درباره ارسال یا عدم ارسال داده به سرویس با معیار حریم خصوصی و مجوز
- تشخیص تزریق پرامپت در سند، صفحه وب یا ایمیل
- تعیین کارهایی که نباید به هوش مصنوعی سپرد و دلیل آن
پیشنیاز
- هوش مصنوعی مولد را درست بفهم
ابزارها
- ویرایشگر متن یا صفحهگسترده
- از ادعا تا منبع: بررسی خروجی هوش مصنوعی
هر ادعای خروجی هوش مصنوعی را جدا کن، با منبع اصلی و تاریخ و شرطهایش بسنج، عدد و واحد را مستقل بازتولید کن و نتیجه را با شاهد و وضعیت روشن ثبت کن.
- داده، حریم خصوصی و محرمانگی
پیش از واردکردن داده در سرویس هوش مصنوعی، سطح محرمانگی، مجوز سازمان، ضرورت داده و سیاست آموزش، نگهداری، بازبینی و سرویس ثالث را جدا بررسی کن؛ سپس داده را کمینه کن.
- تزریق پرامپت و محتوای فریبنده (سطح کاربر)
درخواست مجاز را از فرمانِ جاسازیشده در ایمیل، صفحه وب یا فایل جدا کن؛ مرز اعتماد، شعاع اثر، نشانههای متن پنهان و کنترلهای مستقل از پرامپت را تشخیص بده.
- مرز تصمیم: کی از هوش مصنوعی استفاده نکنیم
با پنج پرسش دربارهٔ پیامد، مسئولیت، بررسی و داده، سقف اختیار هوش مصنوعی را تعیین کن؛ اتکای بیشازحد و بازبینی صوری را بشناس و برای عدم قطعیت، توقف و امضای انسانی بگذار.
- مالکیت، افشا، سوگیری و قانون برای کاربر حرفهای
حقوق استفاده و حمایت قانونی از خروجی را جدا کن، افشای درست و آزمون سوگیری بساز و مسئول انتشار را تعیین کن.
- پروژه: سیاست استفاده از AI در تیم
سیاست هفتبخشی، رجیستر کاربردها و ماتریس مجوز برای یک تیم کوچک بساز و پنج سناریوی شکست را آزمایش کن.
اعتماد قابل بررسی
موقعیت (ساختگی): یک کارمند برگ سبز میخواهد با دستیار هوش مصنوعی گزارش ماهانه شکایتهای مشتریان را بنویسد. ورودی، بیست پیام شکایت با نام، تلفن و جزئیات سفارش است. خروجی برای مدیر و بخشی از آن در خبرنامه داخلی منتشر میشود. تحویل بده: (۱) طبقهبندی داده ورودی و نسخه کمینهشده یک پیام نمونه؛ (۲) پاسخ چهار پرسش سیاست داده برای سرویسی که قرار است استفاده شود (با منبع و تاریخ، یا «پیدا نشد»)؛ (۳) فهرست ادعاهایی که در گزارش باید بررسی شوند (عدد، نقلقول از مشتری، روند) و روش بررسی هرکدام؛ (۴) قاعده انتشار نقلقول مشتری در خبرنامه.
- نام و تلفن پیش از ارسال حذف یا جایگزین شده است (2)
- چهار پرسش سیاست داده جدا جواب داده شدهاند (2)
- عددها با شمارش ابزاری و نقلقولها با پیام اصلی بررسی میشوند (2)
- نقلقول مشتری فقط ناشناس یا با رضایت منتشر میشود (2)
ریسک و مرز
موقعیت (ساختگی): برگ سبز میخواهد دستیاری بسازد که ایمیلهای سفارش سازمانی (مدرسهها) را بخواند، پیشفاکتور پیشنهاد کند و از طرف فروشگاه پاسخ بفرستد. تحویل بده: (۱) سه پرسش شعاع اثر (محتوای بیرونی، داده، اقدام) و پاسخشان؛ (۲) دو نمونه ایمیل ساختگی با تزریق غیرمستقیم که این دستیار باید در برابرشان مقاوم باشد؛ (۳) درجه نقش هوش مصنوعی برای هر بخش کار (خواندن، پیشنهاد قیمت، ارسال) با مسئول و نقطه بازبینی.
- خواندن ایمیل بیرونی و توان ارسال را عامل اصلی خطر میداند (2)
- نمونههای تزریق واقعینما و غیرمستقیماند (2)
- ارسال پاسخ و پیشنهاد تخفیف بدون تأیید انسانی نیست (2)
- مسئول و معیار بازبینی مشخص است (2)
مسئولیت و سیاست
آزمون عبور از دوره
در حدود ۴۰ دقیقه، روی پیشنویس خبرنامه درس اول (assets/newsletter-draft.md) و پنج پیام درس دوم (assets/messages-with-personal-data.md) اینها را تحویل بده: دفتر بررسی هر ده ادعا با وضعیت و اقدام؛ نسخه کمینهشده هر پنج پیام با تصمیم ارسال؛ تشخیص تزریق در پنج ورودی درس سوم؛ و درجه نقش هوش مصنوعی برای هشت کارت درس چهارم.
- ادعاهای عدد و نقلقول بیمنبع حذف شدهاند، نه قید.
- شماره کارت و اطلاعات سلامت به هیچ سرویس میزبانیشدهای فرستاده نشدهاند.
- هر چهار ورودی آلوده تشخیص داده شده و ورودی سالم تزریق فرض نشده است.
- کارتهای اثرگذار بر افراد یا برگشتناپذیر به درجه ۳ یا ۴ رسیدهاند و مسئول دارند.