Understand Generative AI
A sound mental model of language models: token prediction, context, cost, failure patterns and informed model choice.
What you will learn
- Explain model behavior through token prediction, learned knowledge and context
- Measure tokens and estimate the cost of a recurring task, including Persian text
- Recognize seven failure patterns and apply three quick checks before relying on output
- Choose models and providers using legal and data filters and a small evaluation on one's own task
Prerequisites
Tools
- دفترچه آزمایش (صفحهگسترده یا فایل متنی)
- صفحهگسترده
- یک مسیر اجرای مشروع
- Your Learning Map and Workspace Setup
Find your path through the Academy, choose a legitimate way to run exercises, and set up a lab notebook.
- What a Language Model Actually Does
A language model predicts text token by token. Learn where its knowledge comes from, what context does, and why answers vary.
- Tokens, Context Windows and Cost
Measure tokens, understand what fills the context window, and estimate the cost of a recurring task, with attention to Persian text.
- Why Models Fail and How to Catch It Early
Seven common failure patterns of language models, their causes, and three quick checks to catch errors before they reach your work.
- Choosing Models and Providers
Choose a model from task requirements, not hype: criteria, terms and data policies, open-model licenses, and a small evaluation on your own task.
- Persian and Language Models: Cost, Accuracy, and Formatting
Measure Persian-specific tokenization and answer-quality issues; build and test a safe contract for Persian characters, currency, Jalali dates and bidirectional display.
Start and Mental Model
موقعیت (ساختگی): یک آموزشگاه زبان میخواهد پاسخ اولیه به پیامهای ثبتنام را با کمک مدل زبانی آماده کند. روزی حدود ۱۲۰ پیام فارسی میرسد. آموزشگاه یک متن «قواعد ثبتنام» دو صفحهای دارد. گفتگوها بهطور میانگین چهار نوبت دارند. سه بخش تحویل بده: ۱) از کجا میآید؟ برای سه نوع پرسش رایج (شهریه دوره، تاریخ شروع ترم، «کدام سطح برای من مناسب است؟») بنویس پاسخ باید از دانش مدل بیاید یا از کانتکست، و اگر از کانتکست، چه متنی باید آنجا باشد. ۲) چقدر هزینه دارد؟ با یک نمونه پیام واقعینما، توکنهای ورودی (دستور، قواعد، تاریخچه، پیام) و خروجی را با مسیر اجرای خودت اندازه بگیر و هزینه یا زمان ماهانه را حساب کن. یک راه کاهش هم پیشنهاد بده. ۳) با چه مسیری؟ مسیر اجرای مناسب این آموزشگاه را با دو دلیل انتخاب کن (یکی درباره داده متقاضیان).
- پاسخهای وابسته به داده آموزشگاه (شهریه، تاریخ) را از کانتکست میداند و متن لازم را مشخص میکند (2)
- برای پرسش «کدام سطح» محدودیت را میبیند (نیاز به آزمون تعیین سطح یا قاعده آموزشگاه، نه حدس مدل) (1)
- اندازهگیری توکن واقعی است و تاریخچه چهارنوبتی در ورودی آمده (2)
- ورودی و خروجی با نرخ جدا حساب شدهاند و عدد ماهانه درست است (2)
- راه کاهش، ریسک کیفیت خودش را دارد (1)
- انتخاب مسیر اجرا مشروع است و به داده شخصی متقاضیان توجه دارد (2)
Limits and Informed Choice
موقعیت (ساختگی): یک دفتر خدمات مالیاتی کوچک میخواهد از مدل زبانی برای دو کار استفاده کند: (الف) پیشنویس پاسخ به پرسشهای عمومی مشتریان درباره مدارک لازم، بر پایه یک راهنمای داخلی دهصفحهای؛ (ب) خلاصه پرونده هر مشتری برای کارشناس، که شامل اطلاعات مالی شخصی است. دو بخش تحویل بده: ۱) پروتکل بررسی برای هر دو کار: سطح ریسک، دو الگوی شکست محتمل، آزمونها و مسئول تأیید. ۲) کارت تصمیم برای هر دو کار: نیازها، فیلترهای سخت برای دو گزینه (یکی میزبانیشده و یکی محلی)، و انتخاب با برنامه خروج. فرض کن ارزیابی ششموردی روی کار (الف) نشان داده گزینه میزبانیشده ۱۰ از ۱۲ و گزینه محلی ۷ از ۱۲ گرفته، و گزینه محلی یک خطای جدی داشته است.
- کار (ب) را پرخطر و کار (الف) را دستکم متوسط تشخیص میدهد (2)
- برای (الف) گمشدن در میانه راهنمای دهصفحهای یا پرکردن جای خالی را میبیند و نقلقول مستقیم میخواهد (2)
- برای (ب) داده مالی شخصی را فیلتر سخت میداند و بررسی انسانی کامل را الزامی میکند (2)
- فیلترهای سخت دو گزینه را با منبع و تاریخ بررسی میکند (2)
- در انتخاب (الف)، خطای جدی گزینه محلی را مهمتر از اختلاف امتیاز میبیند، یا انتخاب ترکیبی مستدل میکند (1)
- برنامه خروج سهبندی دارد (1)
Skip challenge
یک کار تکراری فارسیزبان از کار خودت (یا موقعیت ساختگی «پاسخ به پیام مشتریان یک فروشگاه با ۲۰۰ پیام در روز») را انتخاب کن و در حدود ۴۵ دقیقه این سه خروجی را تحویل بده: ۱) برآورد هزینه یا زمان ماهانه با توکن ورودی و خروجی اندازهگیریشده، تاریخچه گفتگو، و قیمت ورودی و خروجی جدا؛ ۲) یک پروتکل بررسی با سطح ریسک، دو الگوی شکست محتمل و آزمونهای لازم؛ ۳) یک کارت تصمیم مدل با فیلترهای سخت (منطقه و شرایط، سیاست داده، مجوز) و نتیجه ارزیابی دستکم ششموردی.
- برآورد، توکن را اندازهگیری کرده (نه با قاعده انگلیسی) و تاریخچه و نرخ جدای خروجی را دارد.
- پروتکل بررسی با سطح ریسک سازگار است و برای هر الگوی شکست، آزمون مناسب دارد.
- کارت تصمیم برای هر گزینه منبع فیلترهای سخت را با تاریخ آورده است.
- ارزیابی دستکم یک مورد لبه و تعریف خطای جدی دارد.
- هیچ بخش از کار به دورزدن محدودیت منطقهای یا شرایط استفاده تکیه ندارد.