مدل زبانی واقعاً چه کار می‌کند؟

مدل زبانی متن را توکن‌به‌توکن پیش‌بینی می‌کند. بفهم دانشش از کجا می‌آید، کانتکست چه نقشی دارد و چرا هر بار جواب متفاوتی می‌دهد.

بعد از این درس می‌توانی

  • تولید متن را به‌صورت پیش‌بینی پی‌درپی توکن بعدی، با یک مثال، توضیح بدهد.
  • مراحل ساخت مدل (پیش‌آموزش، تنظیم با دستورالعمل و بازخورد انسانی) و اثر هرکدام بر رفتار مدل را از هم جدا کند.
  • دانش آموخته‌شده مدل را از اطلاعاتی که در کانتکست داده می‌شود جدا کند و پیش‌بینی کند هر خطا از کدام می‌آید.
  • اثر نمونه‌گیری و temperature بر تفاوت پاسخ‌ها را با آزمایش نشان دهد.
  • انواع رایج مدل (گفتگو، استدلالی، چندوجهی، embedding) و کاربرد هرکدام را بشناسد.

چرا این درس مهم است

مدیر فروش یک فروشگاه اینترنتی از دستیار هوش مصنوعی می‌پرسد: «فروش ماه گذشته ما چقدر بود؟» جواب یک عدد دقیق و یک جمله تحلیلی است، با لحنی کاملاً مطمئن. عدد را در گزارش هفتگی می‌گذارد. بعد معلوم می‌شود دستیار اصلاً به داده فروش دسترسی نداشته است.

مشکل «بدجنسی» مدل نیست. مشکل این است که آن مدیر نمی‌دانست مدل زبانی چه کار می‌کند و چه کاری نمی‌کند. وقتی مدل ذهنی درستی داشته باشی، می‌توانی از قبل حدس بزنی کجا به آن اعتماد کنی، کجا اطلاعات را خودت بدهی، و کجا باید بررسی کنی. این درس همان مدل ذهنی را می‌سازد؛ مدلی که بقیه این دوره و کل آکادمی روی آن سوار است.

مفاهیم کلیدی

  • Token (توکن): کوچک‌ترین واحدی که مدل پردازش می‌کند. می‌تواند یک واژه، تکه‌ای از واژه، یک نویسه یا حتی بایت باشدsrc-claude-glossary. در درس بعد دقیق‌تر سراغش می‌رویم.
  • Next-token Prediction (پیش‌بینی توکن بعدی): کار اصلی مدل زبانی: با دیدن متن تا اینجا، برای توکن بعدی احتمال حساب می‌کندsrc-google-mlcc-llm.
  • Pretraining (پیش‌آموزش): آموزش اولیه روی حجم عظیمی متن بدون برچسب، برای پیش‌بینی واژه بعدیsrc-claude-glossary.
  • Fine-tuning and RLHF (تنظیم دقیق و یادگیری تقویتی از بازخورد انسانی): مراحلی که مدل پیش‌آموزش‌دیده را به دستیاری تبدیل می‌کنند که دستور را دنبال کندsrc-claude-glossary.
  • Inference (استنتاج): زمانی که مدل آموزش‌دیده را به کار می‌گیری و جواب تولید می‌کند. در این مرحله مدل چیز تازه‌ای «یاد نمی‌گیرد».
  • Context (کانتکست): هر چیزی که در همان درخواست به مدل می‌رسد: دستورالعمل، پیام‌های قبلی گفتگو، متن‌هایی که می‌چسبانی. حافظه کاری مدل است، نه داده آموزشی‌اشsrc-claude-glossary.
  • Sampling and Temperature (نمونه‌گیری و دما): روش انتخاب توکن از میان گزینه‌های محتمل. temperature بالاتر خروجی متنوع‌تر می‌دهد و پایین‌تر خروجی محافظه‌کارانه‌ترsrc-claude-glossary.
  • Knowledge Cutoff (مرز دانش): تاریخی که دانش مدل تا آن زمان قابل‌اتکاتر است. معمولاً از تاریخ پایان داده‌های آموزشی زودتر استsrc-claude-models-overview.

مدل ذهنی

مدل زبانی را یک تکمیل‌کننده خودکار بسیار قوی با یک میز کار تصور کن.

  • حافظه بلندمدتِ الگوها: در پیش‌آموزش، از میلیاردها جمله یاد گرفته چه متنی معمولاً بعد از چه متنی می‌آید. این دانش در «وزن‌های» مدل فشرده شده است؛ یعنی میلیاردها عدد که در آموزش تنظیم شده‌اند. پرونده‌ای نیست که بشود جست‌وجویش کرد.
  • میز کار: هر چیزی که در کانتکست می‌گذاری. مدل فقط همین را از وضعیت تو می‌بیند.
  • کار مدل: با توجه به ورودی و وزن‌ها، احتمال توکن بعدی را می‌سازد و طبق روش انتخاب توکن (نمونه‌گیری یا انتخاب قطعی) ادامه را یک توکن در هر قدم تولید می‌کند.
آموزش و استفاده از مدل زبانی: در مرحله آموزش، مدل از متن عظیم و سپس بازخورد انسانی وزن‌هایش را می‌سازد؛ در مرحله استفاده، کانتکست وارد مدل می‌شود و مدل توکن به توکن پاسخ تولید می‌کند و هر توکن تولیدشده به ورودی قدم بعد اضافه می‌شود.

آموزش و استفاده از مدل زبانی

این تشبیه کجا غلط است؟ «تکمیل خودکار» این را نشان نمی‌دهد که مدل‌های امروزی بعد از آموزش با بازخورد انسانی، دستور را دنبال می‌کنند، قالب را رعایت می‌کنند و گاهی کارهای چندمرحله‌ای پیچیده انجام می‌دهند. این تشبیه را برای پیش‌بینی خطاها به کار ببر، نه برای کوچک‌شمردن توانایی‌ها. برای قضاوت درباره توانایی، به آزمایش نیاز داری، نه به تشبیه.

گام‌به‌گام

گام ۱: پیش‌بینی، یک توکن در هر قدم

مدل زبانی برای هر ادامه ممکن یک احتمال حساب می‌کندsrc-google-mlcc-llm. فرض کن متن تا اینجا این است:

مدل یکی از این گزینه‌ها را انتخاب می‌کند، آن را به متن اضافه می‌کند، و دوباره همین کار را برای توکن بعدی انجام می‌دهد: «چای» ← «می‌نوشم» ← «.» ← … تا وقتی که به پایان برسد یا به سقف طول خروجی بخورد. (برای سادگی، اینجا هر واژه را یک توکن گرفته‌ایم؛ در واقع یک واژه، به‌ویژه در فارسی، ممکن است چند توکن باشد. درس بعد همین را اندازه می‌گیرد.)

نتیجه مهم: مدل به‌صورت ذاتی پاسخ را از یک «پایگاه داده حقیقت» بازیابی نمی‌کند؛ اگر ابزار جست‌وجو، بازیابی سند یا API به آن وصل شده باشد، می‌تواند از آن‌ها داده بگیرد. در حالت تولید معمول، توکن بعدی را از توزیع احتمالی انتخاب می‌کند. وقتی الگوی درست در داده‌اش قوی بوده، ادامه محتمل همان پاسخ درست است. وقتی نبوده، ادامه محتمل می‌تواند جمله‌ای روان و غلط باشد.

گام ۲: دانش مدل از کجا می‌آید و کجا تمام می‌شود

در پیش‌آموزشِ مدل‌های زبانی مولد خودبازگشتی، مدل روی حجم عظیمی متن آموزش می‌بیند تا توکن بعدی را پیش‌بینی کندsrc-claude-glossary. این‌طور الگوهای زبان، بسیاری از دانسته‌های عمومی و سبک‌های نوشتن را یاد می‌گیرد.

سه پیامد عملی دارد:

  1. واقعیت‌های قاعده‌مند یا پرتکرار ممکن است راحت‌تر یاد گرفته شوند؛ صحت هر ادعای مشخص باید آزموده شود. OpenAI در تحلیلی درباره توهم توضیح می‌دهد که الگوهای منظم مثل املا و دستور زبان با مقیاس قابل‌اتکا می‌شوند، ولی واقعیت‌های دلخواه و کم‌تکرار، مثل تاریخ تولد یک فرد عادی، را نمی‌شود فقط از روی الگو پیش‌بینی کردsrc-openai-why-hallucinate. در درس چهارم مفصل سراغ این می‌رویم.
  2. دانش، تاریخ دارد. برخی ارائه‌دهندگان یک تاریخ برش دانش اعلام می‌کنند؛ این تاریخ، مرز قطعی «همه اطلاعات درست پیش از آن/همه اطلاعات غلط پس از آن» نیستsrc-claude-models-overview. هر چیزی بعد از آن تاریخ، یا برای مدل وجود ندارد یا ناقص است.
  3. بدون دسترسی معتبر به داده خصوصی تو، مدل مبنای قابل اتکایی برای عددهای داخلی ندارد. نمی‌توان درباره حضور یا نبود هر داده خاص در کل داده آموزشی حکم قطعی داد. اگر مدل باید از آن‌ها استفاده کند، باید از راه کانتکست به آن برسند.

گام ۳: از پیش‌بینی‌کننده تا دستیار

مدلی که فقط پیش‌آموزش دیده، ذاتاً در پاسخ‌دادن به پرسش یا دنبال‌کردن دستور خوب نیستsrc-claude-glossary. اگر به آن بنویسی «سه نکته برای نوشتن ایمیل رسمی بگو»، ممکن است به‌جای جواب، فهرستی از پرسش‌های مشابه بنویسد، چون در متن‌های اینترنت چنین الگویی هم دیده است.

برای ساخت بسیاری از دستیارها، مرحله‌های زیر به‌کار می‌رود؛ این یک خط تولید اجباری و یگانه برای همه مدل‌ها نیست:

  • تنظیم با نمونه (Supervised Fine-tuning): آموزش روی نمونه‌هایی از «دستور ← پاسخ خوب».
  • RLHF: بازخورد یا ترجیح انسان در بهینه‌سازی رفتار مدل به‌کار می‌رود؛ بسته به روش، ممکن است از مدل پاداش و یادگیری تقویتی استفاده شودsrc-claude-glossary.

پژوهش شناخته‌شده InstructGPT نشان داد این روش چقدر اثر دارد. ارزیاب‌های انسانی خروجی یک مدل ۱٫۳ میلیارد پارامتری آموزش‌دیده با این روش را به خروجی مدل ۱۷۵ میلیارد پارامتری GPT-3 ترجیح دادند، با اینکه حدود صد برابر کوچک‌تر بود. همان پژوهش هم گزارش کرد که مدل هنوز اشتباه‌های ساده می‌کندsrc-ouyang-instructgpt.

پیامد عملی: دستیارها برای «کمک‌کننده به نظر رسیدن» تنظیم شده‌اند. این خوب است، ولی یک عارضه جانبی هم دارد: میل به جواب‌دادن حتی وقتی جواب مطمئنی وجود ندارد. در درس چهارم به این برمی‌گردیم.

RLAIF و مدل‌های استدلالی: علاوه بر بازخورد انسانی، بعضی فرایندهای پس‌آموزش از ارزیابی یا بازخورد هوش مصنوعی (RLAIF) و روش‌های دیگر بهینه‌سازی ترجیح استفاده می‌کنند. بعضی مدل‌های استدلالی هنگام پاسخ‌گویی پردازش و توکن‌های بیشتری برای حل مسئله مصرف می‌کنند (Test-Time Compute). این افزایش محاسبه در برخی مسائل دشوار مفید است، اما تضمین درستی نیست و می‌تواند هزینه و تأخیر را بالا ببرد؛ جزئیات پیاده‌سازی وابسته به مدل و ارائه‌دهنده‌اند. src-snell-testtime src-deepseek-r1-nature

گام ۴: کانتکست، میز کار مدل

برای پاسخ بر اساس وضعیت خاص تو، باید داده معتبر از طریق کانتکست، ابزارهای متصل یا حافظه محصول به درخواست مدل برسد. در API گفتگو، هر نوبت جدید کل تاریخچه قبلی را به‌علاوه پیام تازه به مدل می‌فرستدsrc-claude-context-windows. محصولات گفتگو هم همین سازوکار را دارند، گاهی با کوتاه یا خلاصه‌کردن تاریخچه‌های بلند. مدل بین دو درخواست چیزی «به خاطر نمی‌سپارد». این‌طور به نظر می‌رسد که «یادش است»، چون تاریخچه دوباره فرستاده می‌شود.

بعضی محصولات قابلیت «حافظه» دارند. این قابلیت لایه‌ای در محصول است که اطلاعات را ذخیره و در درخواست‌های بعدی دوباره در کانتکست می‌گذارد. وزن‌های مدل با گفتگوی تو تغییر نمی‌کنند.

اگر پاسخ به این اطلاعات نیاز دارداز کجا باید بیاید
دانش عمومی پایدار (مثلاً تعریف یک مفهوم رایج)معمولاً دانش آموخته‌شده کافی است؛ برای کار مهم بررسی کن
رویداد یا عدد تازهمنبع بیرونی، از راه کانتکست (یا ابزار جست‌وجو در محصول)
داده خصوصی تو یا سازمانتفقط کانتکست؛ خودت آن را می‌گذاری، یا ابزاری که محصول به سامانه تو وصل کرده نتیجه‌اش را آنجا می‌گذارد
قاعده یا سیاست خاصمتن خود قاعده در کانتکست

گام ۵: چرا هر بار جواب متفاوتی می‌گیری

مدل در هر قدم الزاماً محتمل‌ترین توکن را انتخاب نمی‌کند. نمونه‌گیری می‌کند. پارامتر temperature تعیین می‌کند این انتخاب چقدر «ماجراجویانه» باشد: مقدار بالاتر خروجی متنوع‌تر و خلاقانه‌تر می‌دهد و مقدار پایین‌تر خروجی محافظه‌کارانه‌ترsrc-claude-glossary.

دو نکته مهم:

  • حتی با temperature صفر، خروجی ممکن است در دو فراخوانی کاملاً یکسان نباشدsrc-claude-glossary. پس «یکسان‌بودن» را تضمین‌شده فرض نکن.
  • در مدل محلی Ollama، temperature و seed (عدد ثابت برای بازتولیدپذیری) را می‌شود در درخواست تنظیم کردsrc-ollama-api-chat.

پیامد عملی: برای کار خلاقانه (ایده، عنوان)، تنوع مفید است. برای کاری که باید هر بار یکسان باشد (طبقه‌بندی، استخراج داده)، تنوع دشمن است. آنجا باید خروجی را محدود کنی و بررسی کنی، نه فقط امیدوار باشی.

گام ۶: انواع رایج مدل

نوعچه می‌کندکجا در این آکادمی
مدل گفتگو یا دستورپذیردستور می‌گیرد و متن تولید می‌کندهمه دوره‌ها
مدل استدلالیپیش از پاسخ نهایی، توکن‌های «استدلال» یا «تفکر» تولید می‌کند. این توکن‌ها معمولاً دیده نمی‌شوند، ولی در شمارش و صورت‌حساب جزو خروجی‌اندsrc-openai-tokens-helpsrc-claude-context-windowsدرس سوم (هزینه) و دوره پرامپت
مدل چندوجهی (Multimodal)علاوه بر متن، تصویر یا صدا هم می‌گیرد. این ورودی‌ها هم به توکن تبدیل و شمرده می‌شوندsrc-gemini-tokensدوره‌های کارگاهی
مدل Embeddingمتن را به بردار عددی تبدیل می‌کند تا متن‌های هم‌معنا را پیدا کنی. متن تولید نمی‌کند. این نوع مدل را هم می‌شود با Ollama محلی اجرا کردsrc-ollama-openai-compatدوره داده و بازیابی (RAG)

مثال‌ها

این سه مثال یک قاعده مشترک دارند: وقتی اطلاعات لازم روی میز کار است، مدل قوی است. وقتی نیست، روانی متن جای درستی را می‌گیرد.

پیاده‌سازی عملی

سه آزمایش کوتاه انجام بده و هرکدام را در دفترچه ثبت کن. حدود ۱۵ دقیقه.

آزمایش ۱: ادامه‌دادن. این متن را بده:

این جمله را به پنج شکل مختلف کامل کن و کنار هر کدام بنویس به نظرت چقدر محتمل است (زیاد، متوسط، کم):
هر شب قبل از خواب، یک فنجان

مشاهده: کدام ادامه‌ها «طبیعی‌تر» به نظر می‌رسند؟ این همان شهود جدول احتمال است.

آزمایش ۲: یک پرسش، سه بار. دو پرسش زیر را هرکدام سه بار، و هر بار در گفتگوی تازه، بپرس:

یک شعار تبلیغاتی کوتاه برای یک نانوایی محله‌ای بنویس.
پایتخت ژاپن کدام شهر است؟ فقط نام شهر را بنویس.

مشاهده: کدام پرسش پاسخ‌های متنوع‌تری داد؟ چرا؟

آزمایش ۳: دانش یا کانتکست؟ اول بدون هیچ متنی بپرس:

سیاست مرجوعی کتاب‌فروشی برگ سبز چیست؟

سپس متن فایل shared/policy-barg-sabz.md را در گفتگوی تازه بچسبان و بپرس:

فقط با استفاده از متن زیر جواب بده. اگر جواب در متن نیست، بنویس «در متن نیامده است».
پرسش: آیا کتاب‌های دست‌دوم هم مرجوع می‌شوند؟ و مهلت مرجوعی چند روز است؟

متن:
[متن فایل policy-barg-sabz.md را اینجا بچسبان]

مشاهده: در اجرای اول، مدل سیاستی ساخت یا گفت نمی‌داند؟ در اجرای دوم، به پرسش دست‌دوم چه جوابی داد؟ (پاسخ درست در متن آمده است؛ مهلت هم آمده است.)

سرویس میزبانی‌شده (در دسترس قانونی)

هر سه آزمایش را در دستیاری که برایت قانونی است انجام بده. اگر محصول قابلیت «حافظه» یا شخصی‌سازی دارد، برای آزمایش ۳ آن را خاموش کن یا گفتگوی موقت باز کن تا نتیجه با اطلاعات قبلی آلوده نشود.

اجرای محلی

در Ollama، برای آزمایش ۲ می‌توانی اثر temperature را مستقیم ببینی. مستندترین راه، فرستادن آن در options درخواست API استsrc-ollama-api-chat. پیش‌فرض temperature در Ollama طبق مستندات Modelfile برابر ۰٫۸ استsrc-ollama-modelfile:

curl http://localhost:11434/api/chat -d '{
  "model": "<نام-مدل-تو>",
  "messages": [{"role": "user", "content": "یک شعار تبلیغاتی کوتاه برای یک نانوایی محله‌ای بنویس."}],
  "options": {"temperature": 0},
  "stream": false
}'

با 0 دو بار و با 1 دو بار اجرا کن و چهار خروجی را مقایسه کن. در حالت تعاملی ollama run هم بخش پرسش‌های رایج (FAQ) مستندات Ollama الگوی /set parameter را برای تنظیم پارامتر نشان می‌دهدsrc-ollama-faq. اگر آن را برای temperature امتحان کردی و جواب نداد، از همین درخواست API استفاده کن.

اگر مدل کوچک است، در آزمایش ۳ ممکن است حتی با متن در کانتکست هم اشتباه کند. این را هم ثبت کن؛ داده مهمی برای درس پنجم است.

بدون اجرا / شبیه‌ساز

فایل assets/sample-runs.md همین درس را باز کن. برای هر آزمایش دو یا سه اجرای آماده (ساختگی) هست. همان پرسش‌های مشاهده را درباره آن‌ها جواب بده.

اشتباه‌های رایج

اشتباهنتیجهکار درست
مدل را موتور جست‌وجو یا پایگاه داده فرض کنیعدد و واقعیت ساختگی با لحن مطمئنداده لازم را در کانتکست بده یا از ابزار جست‌وجو استفاده کن و منبع را ببین
فکر کنی مدل گفتگوهای قبلی را «به خاطر دارد»انتظار ادامه‌دادن کاری که هرگز در کانتکست نیستاطلاعات لازم را در همان گفتگو دوباره بده
لحن مطمئن را نشانه درستی بدانیاعتماد به خروجی غلطروانی متن ربطی به درستی ندارد؛ ادعاها را بررسی کن
انتظار جواب یکسان در هر بار اجراسردرگمی و نتیجه‌گیری غلط از یک اجراچند بار اجرا کن؛ برای کارهای تکراری خروجی را محدود و بررسی کن
فکر کنی مدل بزرگ‌تر هیچ‌وقت اشتباه نمی‌کندحذف بررسیحتی مدل‌های خوب هم اشتباه ساده می‌کنند
داده ناقص بدهی و انتظار تکمیل درست داشته باشیجای خالی با حدس پر می‌شودصریحاً بخواه موارد نامعلوم را «تعیین نشده» بنویسد

اشکال‌زدایی

همان پرسش، هر بار جواب کمی یا خیلی متفاوت می‌دهد.

نمونه‌گیری؛ این رفتار طبیعی مدل است.

اگر پرسش خلاقانه است، تفاوت طبیعی است. اگر پرسش جواب واحد دارد و جواب‌ها در محتوا با هم فرق دارند، نشانه بی‌اطمینانی مدل است.

برای کار خلاقانه، از تنوع استفاده کن. برای کار با جواب واحد، دستور را دقیق‌تر کن، داده را در کانتکست بده، temperature را (اگر در دسترس است) پایین بیاور، و نتیجه را بررسی کن.

مدل درباره یک موضوع خاص یا کسب‌وکار کوچک، جزئیات دقیق و مطمئن می‌گوید.

اطلاعات واقعی در داده آموزشی نبوده و مدل ادامه محتمل ساخته است.

بپرس «منبع این اطلاعات چیست؟» و منبع را خودت باز کن. اگر منبعی وجود ندارد یا ادعا را تأیید نمی‌کند، اطلاعات ساختگی است.

متن معتبر را در کانتکست بگذار و اجازه بده مدل بگوید «در متن نیست».

مدل درباره یک رویداد یا نسخه تازه، اطلاعات قدیمی می‌دهد.

مرز دانش.

بپرس دانش مدل تا چه تاریخی است، ولی جوابش را هم قطعی ندان؛ صفحه رسمی مدل را ببین.

اطلاعات تازه را از منبع معتبر در کانتکست بده.

متن را در کانتکست دادی، ولی مدل باز هم چیزی خلاف متن گفت.

ممکن است دستور «فقط از متن استفاده کن» نداده باشی، متن خیلی طولانی بوده، یا مدل کوچک است.

همان پرسش را با متن کوتاه‌تر و دستور صریح تکرار کن.

دستور صریح «فقط از متن» + اجازه «در متن نیامده». درس سوم و چهارم دلیل‌های عمیق‌ترش را نشان می‌دهند.

نکته‌های امنیتی

نکته‌های هزینه

تمرین کوتاه

تمرین · 10 دقیقه

هدف: تشخیص اینکه هر پاسخ از کجا می‌آید.

گام‌ها: برای هر مورد بنویس منشأ اصلی پاسخ کدام است: (الف) دانش آموخته‌شده، (ب) کانتکست، (ج) نمونه‌گیری (تنوع تصادفی)، (د) جای خالی پرشده با حدس.

  1. مدل تعریف درستی از «فتوسنتز» می‌دهد، بی‌آنکه متنی به آن داده باشی.
  2. دو بار برای یک نانوایی شعار خواستی و دو شعار متفاوت گرفتی.
  3. یادداشت جلسه را دادی و مدل نوشت مسئول گزارش «مریم» است؛ همان‌طور که در یادداشت آمده بود.
  4. در همان یادداشت موعد گزارش نیامده بود، ولی مدل نوشت «تا پایان هفته».
  5. بدون هیچ داده‌ای پرسیدی فروش دیروز چقدر بود و عددی گرفتی.
  6. متن سیاست را دادی و مدل نوشت «در متن نیامده است».

معیار پذیرش: دست‌کم ۵ مورد از ۶ مورد درست باشد، و برای مورد ۴ و ۵ یک جمله «چرا» نوشته باشی.

راه‌حل نمونه

۱: الف · ۲: ج · ۳: ب · ۴: د · ۵: د (عدد ساختگی؛ داده نه در دانش مدل بود نه در کانتکست) · ۶: ب. برای ۴: موعد در کانتکست نبود؛ مدل ادامه محتمل برای «موعد گزارش» را ساخت. برای ۵: داده فروش نه در آموزش بوده نه در کانتکست؛ عدد فقط شکل یک جواب را دارد.

چالش

تمرین · 12 دقیقه

موقعیت: یک موضوع از کار یا زندگی خودت انتخاب کن که می‌خواهی در آن به هوش مصنوعی تکیه کنی (مثلاً «قواعد ارسال کالا در شرکت ما» یا «برنامه درسی کلاس من»).

یک آزمون سه‌پرسشی طراحی و اجرا کن:

  1. پرسشی که جوابش باید از دانش عمومی بیاید.
  2. پرسشی که جوابش فقط در داده خصوصی یا تازه است؛ اول بدون کانتکست و بعد با کانتکست.
  3. یک پرسش را سه بار تکرار کن تا پایداری جواب را ببینی.

خروجی مورد انتظار: سه ردیف در دفترچه آزمایش (پرسش، مسیر اجرا، خروجی‌ها، مشاهده) و یک جمله نتیجه‌گیری. برای «داده خصوصی» از متن ساختگی یا ناشناس‌شده استفاده کن، نه سند محرمانه واقعی.

معیار پذیرش:

  • هر سه پرسش و نتیجه‌شان در دفترچه ثبت شده است.
  • برای پرسش ۲ نوشته‌ای که مدل بدون کانتکست چه کرد: ساخت، گفت نمی‌داند، یا پرسید.
  • یک جمله نتیجه‌گیری نوشته‌ای: «برای این موضوع، کجا به مدل تکیه می‌کنم و کجا باید داده را خودم بدهم.»

راهنما: اگر به مدل دسترسی نداری، همین آزمون را روی نمونه‌اجراهای assets/sample-runs.md تحلیل کن و پرسش‌های خودت را فقط طراحی کن.

پرسش‌های سنجش

جمع‌بندی

  • مدل زبانی متن را یک توکن در هر قدم پیش‌بینی می‌کند؛ مگر ابزار جست‌وجو یا بازیابی به آن وصل باشد، از هیچ پایگاه داده حقیقتی پاسخ را بازیابی نمی‌کند.
  • دانش مدل از پیش‌آموزش می‌آید. واقعیت‌های پرتکرار معمولاً قابل‌اتکاترند ولی هر ادعا باید آزموده شود، دانش تاریخ دارد، و برای داده خصوصی تو مبنای قابل‌اتکایی ندارد مگر آن را در کانتکست بدهی.
  • تنظیم با نمونه و RLHF مدل را به دستیار تبدیل می‌کند، ولی اشتباه‌های ساده را از بین نمی‌برد.
  • کانتکست میز کار مدل است. هر چیزی که مدل باید درباره وضعیت تو بداند، باید آنجا باشد. هر نوبت گفتگو کل تاریخچه (یا نسخه کوتاه‌شده‌اش) را دوباره می‌فرستد.
  • نمونه‌گیری باعث تنوع پاسخ‌هاست. حتی با temperature صفر هم یکسان‌بودن تضمین نیست.
  • مدل‌ها انواع مختلفی دارند: گفتگو، استدلالی، چندوجهی و embedding. هرکدام کار خودش را دارد.
  • قاعده کلیدی: وقتی اطلاعات لازم روی میز کار است مدل قوی است؛ وقتی نیست، روانی متن جای درستی را می‌گیرد.

پرسش‌های سنجش

همکارت از یک دستیار عمومی پرسیده «میانگین زمان پاسخ تیم پشتیبانی ما در شهریور چقدر بود؟» و جواب «۴ ساعت و ۱۲ دقیقه» گرفته است. دستیار به هیچ داده‌ای از شرکت وصل نیست. در سه جمله توضیح بده این عدد از کجا آمده و چه باید کرد.

پاسخ نمونه و معیار ارزیابی

مدل بدون اتصال به دادهٔ داخلی شرکت مبنای معتبری برای تعیین میانگین واقعی ندارد؛ روانی یا دقت ظاهری عدد، آن را تأیید نمی‌کند. باید گزارش سامانهٔ پشتیبانی را به‌عنوان دادهٔ معتبر فراهم کرد یا عدد را مستقیماً از منبع استخراج کرد؛ پس از آن فرمول میانگین و بازه زمانی را بررسی کرد.

  • نبود دسترسی معتبر به داده داخلی را تشخیص می‌دهد، نه اینکه درباره کل داده آموزشی حکم قطعی بدهد (1 امتیاز)
  • عدد را ساختگی/حدسی می‌داند و به روانی پاسخ اعتماد نمی‌کند (1 امتیاز)
  • راه درست را می‌گوید: داده واقعی در کانتکست یا گرفتن مستقیم از منبع (1 امتیاز)
  • مدل احتمالاً از اینترنت پیدا کرده ← داده داخلی شرکت در اینترنت نیست، و دستیار به ابزار جست‌وجو یا سامانه شرکت هم وصل نبود.

برای دسته‌بندی ۵۰ پیام مشتری به «شکایت، پرسش، پیشنهاد»، همان پرسش را دو بار روی همان پیام‌ها اجرا کردی و ۷ پیام برچسب متفاوت گرفتند. دو علت محتمل و دو اقدام بنویس.

پاسخ نمونه و معیار ارزیابی

علت‌ها: (۱) نمونه‌گیری؛ مدل در هر اجرا الزاماً محتمل‌ترین گزینه را انتخاب نمی‌کند. (۲) این ۷ پیام احتمالاً مبهم‌اند یا تعریف دسته‌ها روشن نیست. اقدام‌ها: temperature را (اگر در دسترس است) پایین بیاور و یادت باشد صفر هم یکسانی را تضمین نمی‌کند؛ تعریف دقیق و مثال برای هر دسته بده و دسته «نامشخص» اضافه کن؛ پیام‌های ناهمخوان را دستی بررسی کن.

  • نمونه‌گیری را به‌عنوان یک علت می‌گوید (1 امتیاز)
  • ابهام پیام یا تعریف دسته را به‌عنوان علت دیگر می‌گوید (1 امتیاز)
  • دست‌کم یک اقدام برای کاهش تنوع (temperature یا تعریف دقیق‌تر) می‌گوید (1 امتیاز)
  • بررسی انسانی موارد ناهمخوان یا دسته «نامشخص» را پیشنهاد می‌دهد (1 امتیاز)
  • مدل خراب است ← تنوع بین اجراها رفتار طبیعی نمونه‌گیری است، نه خرابی.

چرا مدلی که فقط پیش‌آموزش دیده، معمولاً دستیار خوبی نیست؟

  • چون دانش عمومی ندارد.
  • چون فقط یاد گرفته ادامه محتمل متن را پیش‌بینی کند، نه اینکه دستور را دنبال کند؛ تنظیم با نمونه و RLHF این رفتار را می‌سازند.
  • چون پنجره کانتکست ندارد.
  • چون فقط به انگلیسی آموزش دیده است.
پاسخ نمونه و معیار ارزیابی
  • c ← همه مدل‌ها پنجره کانتکست دارند؛ مشکل دستورپذیری است، نه کانتکست.
  • d ← زبان آموزش ربطی به دستورپذیری ندارد؛ مدل پیش‌آموزش‌دیده چندزبانه هم فقط ادامه متن را پیش‌بینی می‌کند.
  • a ← بیشتر دانش عمومی در همان پیش‌آموزش ساخته می‌شود؛ مشکل دستورپذیری است.

سه فعالیت آموزشی زیر را به پیش‌آموزش، تنظیم با نمونه (SFT) و بهینه‌سازی با بازخورد/ترجیحات (مانند RLHF یا RLAIF) نسبت بده و برای هرکدام یک پیامد رفتاری بگو: (الف) یادگیری الگوهای زبان از متن‌های زیاد؛ (ب) آموزش پاسخ به دستورهای نمونه؛ (ج) ترجیح‌دادن پاسخ مستدل و قابل ارزیابی به پاسخ بی‌پشتوانه.

پاسخ نمونه و معیار ارزیابی

(الف) پیش‌آموزش: یادگیری الگوهای زبان و دانسته‌های آماری؛ (ب) SFT: یادگیری قالب و پاسخ‌گویی به دستور از مثال‌ها؛ (ج) پس‌آموزش مبتنی بر ترجیح/بازخورد مانند RLHF یا RLAIF: تقویت رفتارهای ترجیح‌داده‌شده. لزوماً همه مدل‌ها دقیقاً این سه مرحله را به همین ترتیب ندارند.

  • الف را به پیش‌آموزش و یادگیری الگو نسبت می‌دهد (1 امتیاز)
  • ب را به SFT و پیروی از دستور نسبت می‌دهد (1 امتیاز)
  • ج را به بازخورد/ترجیحات نسبت می‌دهد (1 امتیاز)
  • توضیح می‌دهد این مراحل نسخهٔ اجباری ساخت تمام مدل‌ها نیستند (1 امتیاز)
  • همه را RLHF می‌داند ← پیش‌آموزش، SFT و یادگیری بر اساس ترجیحات اهداف و داده‌های متفاوت دارند.

کدام توصیف از نحوه تولید پاسخ توسط مدل زبانی درست‌تر است؟

  • مدل پاسخ کامل را از حافظه‌اش پیدا و یک‌جا چاپ می‌کند.
  • مدل در هر قدم برای توکن بعدی احتمال حساب می‌کند، یکی را انتخاب می‌کند، به متن اضافه می‌کند و تکرار می‌کند.
  • مدل هر بار در اینترنت جست‌وجو می‌کند و بهترین جمله را کپی می‌کند.
  • مدل پس از هر گفتگو وزن‌هایش را به‌روز می‌کند تا دفعه بعد بهتر جواب بدهد.
پاسخ نمونه و معیار ارزیابی
  • a ← مدل پاسخ آماده‌ای را بازیابی نمی‌کند؛ توکن‌به‌توکن تولید می‌کند.
  • c ← مدل زبانی به‌خودی‌خود جست‌وجو نمی‌کند؛ جست‌وجو ابزار جداگانه‌ای است که فقط اگر فعال باشد استفاده می‌شود.
  • d ← در استفاده عادی، وزن‌های مدل با گفتگوی تو تغییر نمی‌کنند؛ «حافظه» در محصول، اطلاعات را دوباره در کانتکست می‌گذارد.

در یک شرکت سه نیاز مطرح است: (الف) در آرشیو ۵٬۰۰۰ قرارداد، قراردادهای شبیه یک قرارداد نمونه پیدا شوند؛ (ب) از عکس فاکتورهای کاغذی، مبلغ و تاریخ استخراج شود؛ (ج) پیش‌نویس پاسخ به ایمیل مشتری نوشته شود. برای هر نیاز، کدام نوع مدل اصلی‌ترین نقش را دارد؟ یک جمله دلیل بنویس.

پاسخ نمونه و معیار ارزیابی

(الف) مدل embedding، چون متن‌ها را به بردار تبدیل می‌کند تا متن‌های هم‌معنا پیدا شوند (معمولاً همراه مدل گفتگو برای توضیح نتیجه). (ب) مدل چندوجهی، چون باید ورودی تصویری را بخواند. (ج) مدل گفتگو یا دستورپذیر، چون باید متن تولید کند.

  • الف: embedding (1 امتیاز)
  • ب: چندوجهی (1 امتیاز)
  • ج: گفتگو/دستورپذیر (1 امتیاز)
  • الف: مدل استدلالی ← یافتن متن مشابه در حجم زیاد، کار جست‌وجوی معنایی است و embedding برای آن ساخته شده؛ مدل استدلالی برای حل مسئله چندمرحله‌ای است.

فایل‌های درس

نمونه‌اجراهای ساختگی سه آزمایش

sample-runs.md

سیاست مرجوعی ساختگی کتاب‌فروشی برگ سبز

policy-barg-sabz.md

ابزارها و جایگزین‌ها

  • دفترچه آزمایش — ثبت سه آزمایش درس

منابع

Glossary Anthropic 2026-10

Intro to Large Language Models Google for Developers (ML Crash Course) 2026-10

Models overview Anthropic 2026-10

Why language models hallucinate OpenAI 2025-09-05

Training language models to follow instructions with human feedback Ouyang et al. (OpenAI) 2022

Context windows Anthropic 2026-10

Chat API Ollama 2026-10

What are tokens and how to count them? OpenAI 2026-10

Understand and count tokens Google 2026-10

OpenAI compatibility Ollama Responses non-stateful since v0.13.3

Attention Is All You Need Vaswani et al. 2017

What's a large language model? (Transformers) Google for Developers (ML Crash Course) 2026-10

Modelfile reference Ollama 2026-10

FAQ Ollama 2026-10

Scaling LLM Test-Time Compute Optimally Can be More Effective than Scaling Parameters for Reasoning [peer-reviewed ICLR 2025] ICLR 2025 (Snell et al.) 2025

DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning [peer-reviewed] Nature 2025-09-17

دوره

هوش مصنوعی مولد را درست بفهم