Verification, Safety and Responsible Use
Claim-to-source verification, privacy and data minimization, recognizing prompt injection, and where AI should not be used; finally learn ownership, disclosure, bias and law, and write your team's AI use policy.
What you will learn
- Trace output claims to sources and record a confidence status
- Decide whether to send data to a service using privacy and permission criteria
- Recognize prompt injection in documents, web pages or email
- Identify tasks that should not be delegated to AI and why
Prerequisites
- Understand Generative AI
Tools
- ویرایشگر متن یا صفحهگسترده
- From Claim to Source: Verifying AI Output
Split claims, verify source identity, semantic support and time validity, recompute quantities independently, and record evidence, status and action.
- Data, Privacy and Confidentiality
Classify and minimize data before using AI; separately verify training, retention, human access, third parties, and organizational permission.
- Prompt Injection and Manipulative Content (User Level)
Recognize direct and indirect prompt injection, trust boundaries and hidden text, and reduce damage with permissions and independent human verification.
- Decision Boundaries: When Not to Use AI
Choose AI delegation level by impact and review costs; counter over-reliance with meaningful human checks, uncertainty handling, and stop controls.
- Ownership, Disclosure, Bias and Law for Professionals
Separate licensing from copyright, disclose AI use appropriately, test bias and assign accountable review.
- Project: Team AI Use Policy
Create a seven-part AI-use policy, risk register and permission matrix, then test five failure scenarios.
Checkable Trust
موقعیت (ساختگی): یک کارمند برگ سبز میخواهد با دستیار هوش مصنوعی گزارش ماهانه شکایتهای مشتریان را بنویسد. ورودی، بیست پیام شکایت با نام، تلفن و جزئیات سفارش است. خروجی برای مدیر و بخشی از آن در خبرنامه داخلی منتشر میشود. تحویل بده: (۱) طبقهبندی داده ورودی و نسخه کمینهشده یک پیام نمونه؛ (۲) پاسخ چهار پرسش سیاست داده برای سرویسی که قرار است استفاده شود (با منبع و تاریخ، یا «پیدا نشد»)؛ (۳) فهرست ادعاهایی که در گزارش باید بررسی شوند (عدد، نقلقول از مشتری، روند) و روش بررسی هرکدام؛ (۴) قاعده انتشار نقلقول مشتری در خبرنامه.
- نام و تلفن پیش از ارسال حذف یا جایگزین شده است (2)
- چهار پرسش سیاست داده جدا جواب داده شدهاند (2)
- عددها با شمارش ابزاری و نقلقولها با پیام اصلی بررسی میشوند (2)
- نقلقول مشتری فقط ناشناس یا با رضایت منتشر میشود (2)
Risk and Boundaries
موقعیت (ساختگی): برگ سبز میخواهد دستیاری بسازد که ایمیلهای سفارش سازمانی (مدرسهها) را بخواند، پیشفاکتور پیشنهاد کند و از طرف فروشگاه پاسخ بفرستد. تحویل بده: (۱) سه پرسش شعاع اثر (محتوای بیرونی، داده، اقدام) و پاسخشان؛ (۲) دو نمونه ایمیل ساختگی با تزریق غیرمستقیم که این دستیار باید در برابرشان مقاوم باشد؛ (۳) درجه نقش هوش مصنوعی برای هر بخش کار (خواندن، پیشنهاد قیمت، ارسال) با مسئول و نقطه بازبینی.
- خواندن ایمیل بیرونی و توان ارسال را عامل اصلی خطر میداند (2)
- نمونههای تزریق واقعینما و غیرمستقیماند (2)
- ارسال پاسخ و پیشنهاد تخفیف بدون تأیید انسانی نیست (2)
- مسئول و معیار بازبینی مشخص است (2)
Responsibility and Policy
Skip challenge
در حدود ۴۰ دقیقه، روی پیشنویس خبرنامه درس اول (assets/newsletter-draft.md) و پنج پیام درس دوم (assets/messages-with-personal-data.md) اینها را تحویل بده: دفتر بررسی هر ده ادعا با وضعیت و اقدام؛ نسخه کمینهشده هر پنج پیام با تصمیم ارسال؛ تشخیص تزریق در پنج ورودی درس سوم؛ و درجه نقش هوش مصنوعی برای هشت کارت درس چهارم.
- ادعاهای عدد و نقلقول بیمنبع حذف شدهاند، نه قید.
- شماره کارت و اطلاعات سلامت به هیچ سرویس میزبانیشدهای فرستاده نشدهاند.
- هر چهار ورودی آلوده تشخیص داده شده و ورودی سالم تزریق فرض نشده است.
- کارتهای اثرگذار بر افراد یا برگشتناپذیر به درجه ۳ یا ۴ رسیدهاند و مسئول دارند.