Understand Generative AI

A sound mental model of language models: token prediction, context, cost, failure patterns and informed model choice.

What you will learn

  • Explain model behavior through token prediction, learned knowledge and context
  • Measure tokens and estimate the cost of a recurring task, including Persian text
  • Recognize seven failure patterns and apply three quick checks before relying on output
  • Choose models and providers using legal and data filters and a small evaluation on one's own task

Prerequisites

    Tools

    • دفترچه آزمایش (صفحه‌گسترده یا فایل متنی)
    • صفحه‌گسترده
    • یک مسیر اجرای مشروع

    Start and Mental Model

    موقعیت (ساختگی): یک آموزشگاه زبان می‌خواهد پاسخ اولیه به پیام‌های ثبت‌نام را با کمک مدل زبانی آماده کند. روزی حدود ۱۲۰ پیام فارسی می‌رسد. آموزشگاه یک متن «قواعد ثبت‌نام» دو صفحه‌ای دارد. گفتگوها به‌طور میانگین چهار نوبت دارند. سه بخش تحویل بده: ۱) از کجا می‌آید؟ برای سه نوع پرسش رایج (شهریه دوره، تاریخ شروع ترم، «کدام سطح برای من مناسب است؟») بنویس پاسخ باید از دانش مدل بیاید یا از کانتکست، و اگر از کانتکست، چه متنی باید آنجا باشد. ۲) چقدر هزینه دارد؟ با یک نمونه پیام واقعی‌نما، توکن‌های ورودی (دستور، قواعد، تاریخچه، پیام) و خروجی را با مسیر اجرای خودت اندازه بگیر و هزینه یا زمان ماهانه را حساب کن. یک راه کاهش هم پیشنهاد بده. ۳) با چه مسیری؟ مسیر اجرای مناسب این آموزشگاه را با دو دلیل انتخاب کن (یکی درباره داده متقاضیان).

    • پاسخ‌های وابسته به داده آموزشگاه (شهریه، تاریخ) را از کانتکست می‌داند و متن لازم را مشخص می‌کند (2)
    • برای پرسش «کدام سطح» محدودیت را می‌بیند (نیاز به آزمون تعیین سطح یا قاعده آموزشگاه، نه حدس مدل) (1)
    • اندازه‌گیری توکن واقعی است و تاریخچه چهارنوبتی در ورودی آمده (2)
    • ورودی و خروجی با نرخ جدا حساب شده‌اند و عدد ماهانه درست است (2)
    • راه کاهش، ریسک کیفیت خودش را دارد (1)
    • انتخاب مسیر اجرا مشروع است و به داده شخصی متقاضیان توجه دارد (2)

    Limits and Informed Choice

    موقعیت (ساختگی): یک دفتر خدمات مالیاتی کوچک می‌خواهد از مدل زبانی برای دو کار استفاده کند: (الف) پیش‌نویس پاسخ به پرسش‌های عمومی مشتریان درباره مدارک لازم، بر پایه یک راهنمای داخلی ده‌صفحه‌ای؛ (ب) خلاصه پرونده هر مشتری برای کارشناس، که شامل اطلاعات مالی شخصی است. دو بخش تحویل بده: ۱) پروتکل بررسی برای هر دو کار: سطح ریسک، دو الگوی شکست محتمل، آزمون‌ها و مسئول تأیید. ۲) کارت تصمیم برای هر دو کار: نیازها، فیلترهای سخت برای دو گزینه (یکی میزبانی‌شده و یکی محلی)، و انتخاب با برنامه خروج. فرض کن ارزیابی شش‌موردی روی کار (الف) نشان داده گزینه میزبانی‌شده ۱۰ از ۱۲ و گزینه محلی ۷ از ۱۲ گرفته، و گزینه محلی یک خطای جدی داشته است.

    • کار (ب) را پرخطر و کار (الف) را دست‌کم متوسط تشخیص می‌دهد (2)
    • برای (الف) گم‌شدن در میانه راهنمای ده‌صفحه‌ای یا پرکردن جای خالی را می‌بیند و نقل‌قول مستقیم می‌خواهد (2)
    • برای (ب) داده مالی شخصی را فیلتر سخت می‌داند و بررسی انسانی کامل را الزامی می‌کند (2)
    • فیلترهای سخت دو گزینه را با منبع و تاریخ بررسی می‌کند (2)
    • در انتخاب (الف)، خطای جدی گزینه محلی را مهم‌تر از اختلاف امتیاز می‌بیند، یا انتخاب ترکیبی مستدل می‌کند (1)
    • برنامه خروج سه‌بندی دارد (1)

    Skip challenge

    یک کار تکراری فارسی‌زبان از کار خودت (یا موقعیت ساختگی «پاسخ به پیام مشتریان یک فروشگاه با ۲۰۰ پیام در روز») را انتخاب کن و در حدود ۴۵ دقیقه این سه خروجی را تحویل بده: ۱) برآورد هزینه یا زمان ماهانه با توکن ورودی و خروجی اندازه‌گیری‌شده، تاریخچه گفتگو، و قیمت ورودی و خروجی جدا؛ ۲) یک پروتکل بررسی با سطح ریسک، دو الگوی شکست محتمل و آزمون‌های لازم؛ ۳) یک کارت تصمیم مدل با فیلترهای سخت (منطقه و شرایط، سیاست داده، مجوز) و نتیجه ارزیابی دست‌کم شش‌موردی.

    • برآورد، توکن را اندازه‌گیری کرده (نه با قاعده انگلیسی) و تاریخچه و نرخ جدای خروجی را دارد.
    • پروتکل بررسی با سطح ریسک سازگار است و برای هر الگوی شکست، آزمون مناسب دارد.
    • کارت تصمیم برای هر گزینه منبع فیلترهای سخت را با تاریخ آورده است.
    • ارزیابی دست‌کم یک مورد لبه و تعریف خطای جدی دارد.
    • هیچ بخش از کار به دورزدن محدودیت منطقه‌ای یا شرایط استفاده تکیه ندارد.