Testing and Versioning Prompts + Project 1
Build a test set for a prompt, compare versions with numbers, catch regressions, and deliver Project 1: a structured prompt assistant.
بعد از این درس میتوانی
- برای یک درخواست، مجموعه آزمون دهموردی با موارد عادی، دشوار و لبه و پاسخ مورد انتظار بسازد.
- روش امتیازدهی مناسب هر معیار (تطابق دقیق، rubric انسانی، داور مدل) را با مزیت و ریسکش انتخاب کند.
- نسخههای درخواست را با دفتر نسخه و امتیاز مقایسه کند و رگرسیون را تشخیص بدهد.
- پروژه ۱ را با قرارداد خروجی، Schema، مجموعه آزمون، ثبت شکست و مقایسه دو نسخه تحویل بدهد.
چرا این درس مهم است
همکار برگ سبز طبقهبند پیامها را بهتر کرد: پیامی که «دستورهای قبلی را نادیده بگیر» داشت حالا درست برچسب میخورد. دو هفته بعد معلوم شد پیامهای خرید سازمانی، که قبلاً درست بودند، حالا به صف سفارش میروند و مدرسهای که ۴۰ جلد کتاب میخواست، یک هفته جواب نگرفت. تغییر یک جا را درست کرده بود و جای دیگری را خراب.
این الگو «رگرسیون» است و بدون مجموعه آزمون دیده نمیشود. درسهای قبل یاد دادند درخواست خوب بنویسی؛ این درس یاد میدهد ثابت کنی خوب است، و وقتی عوضش میکنی، بدانی بهتر شد یا فقط فرق کرد. در پایان، همه مهارتهای این دوره را در پروژه ۱ کنار هم میگذاری.
مفاهیم کلیدی
یادآوری: مجموعه ارزیابی را در درس پنجم دوره قبل برای انتخاب مدل ساختی؛ اینجا همان ایده را برای خود درخواست به کار میبری.
- Test Set (مجموعه آزمون): چند ورودی ثابت با پاسخ یا معیار مورد انتظار، برای سنجیدن هر نسخه درخواست با یک خطکش.
- Edge Case (مورد لبه): ورودی غیرعادی که احتمال شکست را بالا میبرد؛ مثل پیام خالی، خیلی بلند، مبهم یا قاعدهشکن.
- Exact Match Grading (امتیازدهی با تطابق دقیق): مقایسه خودکار خروجی با پاسخ درست؛ برای پاسخهای بسته مثل برچسب.
- Model Grader (داور مدل): استفاده از یک مدل زبانی برای امتیازدادن به ویژگیهای کیفی خروجی با rubric.
- Regression (رگرسیون): موردی که در نسخه قبل قبول بود و در نسخه جدید رد میشود.
- Version Log (دفتر نسخه): ثبت هر تغییر درخواست یا مدل، دلیل آن و نتیجهاش روی مجموعه آزمون.
مدل ذهنی
مجموعه آزمون را مثل چکلیست پیش از پرواز ببین: خلبان هر بار همان فهرست را بررسی میکند، حتی اگر دیروز همهچیز سالم بود؛ چون یک تعمیر کوچک ممکن است چیز دیگری را جابهجا کرده باشد.
چرخه نسخهبندی درخواست با مجموعه آزمون
این تشبیه کجا غلط است؟ چکلیست پرواز سالها ثابت میماند. مجموعه آزمون تو باید رشد کند: هر شکست تازهای که در استفاده واقعی پیدا میکنی، به مجموعه اضافه میشود تا دیگر تکرار نشود. مجموعهای که هرگز تغییر نکند، کمکم دیگر نماینده کار واقعی نیست.
گامبهگام
گام ۱: مجموعه آزمون بساز
مستندات Anthropic سه اصل برای طراحی ارزیابی میگوید: مخصوص کار باشد و توزیع واقعی ورودیها را بازتاب دهد و موارد لبه را فراموش نکند؛ تا جای ممکن خودکار باشد؛ و حجم را بر کیفیت مقدم بداند، یعنی پرسشهای بیشتر با امتیازدهی خودکار کمی کمدقتتر، بهتر از پرسشهای کم با امتیازدهی دستی استsrc-claude-develop-tests. همین مستندات موارد لبه رایج را هم نام میبرد: ورودی بیربط یا ناموجود، ورودی خیلی بلند، ورودی بد یا مضر در گفتگو، و موارد مبهمی که حتی انسانها دربارهشان توافق ندارندsrc-claude-develop-tests.
برای شروع، ده مورد کافی است:
| نوع | تعداد پیشنهادی | نمونه در assets/test-cases.csv |
|---|---|---|
| عادی | ۴ | پیام تأخیر سفارش با شماره |
| دشوار | ۳ | پیام دوموضوعی؛ پیام بدون شماره سفارش که وسوسه ساختن دارد |
| لبه | ۳ | پیام خالی؛ تلاش برای تغییر دستور؛ درخواست داده مشتری دیگر |
هر مورد سه ستون حیاتی دارد: ورودی، پاسخ مورد انتظار، و چرا در مجموعه است. ستون سوم جلوی موارد تکراری را میگیرد.
گام ۲: برای هر معیار، روش امتیازدهی
مستندات Anthropic سه روش را مقایسه میکندsrc-claude-develop-tests:
| روش | مناسب برای | ریسک |
|---|---|---|
| کد (تطابق دقیق) | پاسخ بسته: برچسب، عدد، وجود یک فیلد | فقط چیزی را میسنجد که قابل مقایسه دقیق است |
| داور مدل با rubric | ویژگی کیفی: لحن، همدلی، حرفهایبودن | خودش خطا دارد؛ مستندات پیشنهاد میکند مدل داور با مدل تولیدکننده متفاوت باشد |
| انسان با rubric | قضاوت تخصصی، موارد مبهم | کند و پرهزینه؛ برای حجم زیاد عملی نیست |
قاعده عملی: هر چه را میشود با کد سنجید، با کد بسنج (برچسب، شماره سفارش، فوریت، طول). داور مدل را برای کیفیت متن نگه دار و نتیجهاش را هر از گاهی با چند نمونه انسانی مقایسه کن. یک معیار کیفی بدون rubric را به هیچ داوری نسپار.
گام ۳: یک تغییر در هر نسخه
اگر همزمان مثالها، قاعدهها و مدل را عوض کنی، نمیفهمی کدام اثر داشت. هر نسخه یک تغییر، و هر تغییر یک دلیل از فهرست شکستها. دفتر نسخه (assets/version-log.md) همین را ثبت میکند.
گام ۴: رگرسیون را بگیر
پس از هر تغییر، کل مجموعه را اجرا کن، نه فقط موردی که اصلاحش کردی. اسکریپت assets/score_outputs.py روی نتیجههای نمونه همین را نشان میدهد: نسخه ۲ سه مورد را درست کرده ولی مورد خرید سازمانی (C05) را که قبلاً درست بود، خراب کرده است. نسخهای با رگرسیون فقط با دلیل ثبتشده نگه داشته میشود؛ مثلاً اگر مورد خرابشده کماهمیت است و اصلاحها حیاتیاند. در غیر این صورت، یک تغییر دیگر لازم است.
گام ۵: مدل را هم نسخهبندی کن
درخواست تنها چیزی نیست که تغییر میکند. ارائهدهنده ممکن است مدل را عوض کند. راهنمای OpenAI توصیه میکند برنامههای تولیدی به نسخه مشخصی از مدل (snapshot) ثابت شوند و مجموعه آزمونی ساخته شود که رفتار درخواست را هنگام تغییر یا ارتقای مدل بسنجدsrc-openai-prompt-engineering. پس در دفتر نسخه، نام و نسخه یا تاریخ مدل هم ثبت میشود، و ارتقای مدل هم یک «نسخه» است که کل مجموعه را لازم دارد.
مثالها
پیادهسازی عملی
پروژه ۱: دستیار پرامپت ساختاریافته. حدود ۵۰ دقیقه. خروجی پروژه یک «دستیار» برای یک کار مشخص است: درخواستی با قرارداد خروجی که ثابت میکنی کار میکند. کار پیشفرض، طبقهبندی پیامهای برگ سبز است؛ اگر کار خودت را ترجیح میدهی، همین گامها را با داده ساختگی خودت برو (چالش این درس هم همین است).
- کارت درخواست (درس اول): هدف، زمینه، ورودی، محدودیت، قالب، معیار پذیرش.
- دستورالعمل سیستمی و مثالها (درس دوم): سه تا پنج مثال متنوع.
- قرارداد خروجی و Schema (درس پنجم): از
ticket-schema.jsonدرس قبل استفاده یا آن را با دلیل تغییر بده. - مجموعه آزمون: assets/test-cases.csv را باز کن؛ دستکم دو مورد از خودت به آن اضافه کن (مثلاً از پیامهای T13 تا T20 در shared/barg-sabz-tickets.csv).
- اجرای نسخه ۱ و امتیازدهی: تطابق دقیق برای دسته، شماره سفارش و فوریت.
- ثبت شکستها: برای هر مورد ردشده، علت محتمل (کدام جزء درخواست).
- نسخه ۲: یک تغییر بر پایه یکی از شکستها؛ اجرای کل مجموعه؛ پیدا کردن رگرسیون.
- دفتر نسخه را پر کن و تصمیم بگیر کدام نسخه نگه داشته میشود.
بدون کد
امتیازها را در صفحهگسترده حساب کن: یک ستون «قبول» با فرمول مقایسه سه ستون خروجی با سه ستون مورد انتظار، و جمع آن برای هر نسخه. برای رگرسیون، ستونهای قبول دو نسخه را کنار هم بگذار و موارد «قبول ← رد» را رنگ نکن، علامت بزن (مثلاً «R»).
با کد
نتیجههایت را با همان ستونهای assets/sample-results.csv ذخیره کن و اجرا کن:
cd assets
python score_outputs.py test-cases.csv sample-results.csvروی داده نمونه باید این را ببینی: نسخه ۱ هفت از ده، نسخه ۲ نه از ده، و رگرسیون C05.
سرویس میزبانیشده (در دسترس قانونی)
هر مورد را در درخواست جدا و بدون تاریخچه موارد دیگر اجرا کن. نام و نسخه مدل و تاریخ اجرا را در دفتر نسخه بنویس.
اجرای محلی
با Ollama هر مورد یک درخواست جداست، با temperature صفر و format برابر Schema (درس پنجم). نام دقیق مدل محلی را ثبت کن. اگر امتیاز مدل محلی پایین بود، این خودش یافته پروژه است: بنویس کدام نوع مورد (لبه، دشوار) بیشترین شکست را داشت.
بدون اجرا / شبیهساز
assets/sample-results.csv نتیجه ساختگی دو نسخه را دارد. امتیاز و رگرسیون را حساب کن، علت هر شکست را بنویس، و طرح نسخه ۳ را با یک تغییر پیشنهاد بده.
معیار تحویل پروژه (شش معیار قرارداد سنجش، هرکدام ۰ تا ۲): مسیر اصلی قابل بازتولید است (کارت، Schema و مجموعه آزمون کافی است تا کس دیگری همان را اجرا کند)؛ حالتهای شکست آزموده شدهاند (موارد لبه)؛ مرز داده رعایت شده (فقط داده ساختگی)؛ برآورد هزینه یک خطی دارد (توکن یا زمان هر اجرای کامل مجموعه)؛ سند تصمیم (دفتر نسخه) دلیل انتخاب نسخه را میگوید؛ و شاهد بررسی (جدول امتیاز) وجود دارد.
اشتباههای رایج
| اشتباه | نتیجه | کار درست |
|---|---|---|
| فقط موارد عادی در مجموعه | امتیاز بالا، شکست در استفاده واقعی | موارد دشوار و لبه |
| آزمون دوباره فقط مورد اصلاحشده | رگرسیون پنهان | اجرای کل مجموعه |
| چند تغییر همزمان | نامعلومبودن علت بهبود یا افت | یک تغییر در هر نسخه |
| داور مدل بدون rubric یا همان مدل تولیدکننده | امتیاز ناپایدار یا خوشبینانه | rubric صریح و داور متفاوت؛ مقایسه نمونهای با انسان |
| ثبتنکردن مدل و تاریخ | نتیجهها قابل مقایسه نیستند | نام، نسخه یا تاریخ مدل در دفتر نسخه |
| مجموعه آزمون ثابت برای همیشه | از واقعیت عقب میماند | هر شکست واقعی تازه، یک مورد تازه |
اشکالزدایی
امتیاز کل نسخه جدید بالاتر است، ولی کاربران از یک نوع مورد شکایت میکنند.
رگرسیون در دستهای کمتکرار که امتیاز کل آن را پنهان کرده است.
مقایسه مورد به مورد دو نسخه، نه فقط جمع امتیاز.
گزارش «اصلاحشده / رگرسیون» برای هر نسخه؛ اضافهکردن موارد بیشتر از دسته کمتکرار.
اجرای دوباره همان نسخه روی همان مجموعه، امتیاز کمی متفاوت میدهد.
نمونهگیری مدل؛ حتی با temperature صفر یکسانی کامل تضمین نیست.
هر نسخه را دو یا سه بار اجرا کن و موارد ناپایدار را علامت بزن.
برای تصمیم بین دو نسخه نزدیک، چند اجرا و میانگین؛ موارد ناپایدار را جداگانه بررسی کن.
بدون هیچ تغییری در درخواست، امتیاز افت کرده است.
مدل پشت نام مدل عوض شده یا ارائهدهنده رفتار پیشفرض را تغییر داده است.
دفتر نسخه را ببین: نام و نسخه مدل در دو اجرا یکی بود؟
نسخه مشخص مدل را ثابت کن، و ارتقای مدل را مثل یک نسخه تازه با کل مجموعه بسنج.
نکتههای هزینه
تمرین کوتاه
تمرین · 12 دقیقه
هدف: طراحی روش امتیازدهی.
موقعیت (ساختگی): درخواستی پیشنویس پاسخ به پیامهای پشتیبانی برگ سبز مینویسد. معیارهای پذیرش: (۱) طول حداکثر ۸۰ واژه؛ (۲) هیچ قول تخفیف، هدیه یا تاریخ قطعی؛ (۳) یک جمله همدلی؛ (۴) یک قدم بعدی مشخص؛ (۵) شماره سفارش، اگر آمده، درست باشد.
گامها: برای هر معیار روش امتیازدهی (کد، داور مدل، انسان) را انتخاب کن و یک جمله دلیل بنویس.
معیار پذیرش: معیارهای ۱ و ۵ با کد؛ برای داور مدل به rubric و متفاوتبودن مدل داور اشاره شده باشد.
راهحل نمونه
۱: کد (شمردن واژه). ۵: کد (مقایسه با ورودی). ۲: کد برای فهرست واژههای پرخطر (تخفیف، رایگان، هدیه، تاریخ) بهعلاوه داور مدل برای قولهای غیرمستقیم. ۳ و ۴: داور مدل با rubric صریح («دقیقاً یک جمله همدلی بدون سرزنش»، «یک اقدام مشخص که مشتری یا کارمند انجام میدهد»)، با مدلی غیر از مدل تولیدکننده، و مقایسه نمونهای با داوری انسان.
چالش
تمرین · 45 دقیقه
موقعیت: پروژه ۱ را روی کار خودت تکرار کن: کاری که در چالشهای درسهای قبل این دوره انتخاب کردی، یا کار تکراری تازهای که خروجیاش قالب ثابت دارد. همه ورودیها ساختگی یا ناشناسشده باشند.
- کارت درخواست، دستورالعمل سیستمی با مثال، و قرارداد خروجی با Schema.
- مجموعه آزمون دهموردی: دستکم سه مورد دشوار و دو مورد لبه، هرکدام با «چرا در مجموعه است».
- روش امتیازدهی هر معیار.
- دو نسخه، با یک تغییر بینشان، اجرا روی کل مجموعه.
- دفتر نسخه با امتیاز، اصلاحشدهها، رگرسیونها و تصمیم.
خروجی مورد انتظار: یک پوشه یا سند با پنج بخش بالا که کس دیگری بتواند با آن همان آزمون را تکرار کند.
معیار پذیرش:
- مجموعه آزمون دستکم سه مورد دشوار و دو مورد لبه دارد.
- هر معیار قابلسنجش با کد، با کد سنجیده شده است.
- نسخه ۲ فقط یک تغییر نسبت به نسخه ۱ دارد و دلیلش یک شکست ثبتشده است.
- رگرسیونها (اگر هست) مورد به مورد گزارش شدهاند.
- نام مدل یا مسیر اجرا و تاریخ اجرا ثبت شده است.
راهنما: اگر نسخه ۲ هیچ تفاوتی نساخت، این هم نتیجه است؛ ثبتش کن و تغییر دیگری را امتحان کن.
پرسشهای سنجش
جمعبندی
- بدون مجموعه آزمون نمیدانی تغییر درخواست بهتر کرده یا فقط فرق ایجاد کرده است.
- مجموعه آزمون خوب مخصوص کار است و موارد عادی، دشوار و لبه دارد؛ با هر شکست واقعی رشد میکند.
- هر چه را میشود با کد سنجید، با کد بسنج؛ داور مدل با rubric و مدل متفاوت؛ انسان برای موارد مبهم.
- هر نسخه یک تغییر با یک دلیل؛ پس از هر تغییر کل مجموعه را اجرا کن.
- رگرسیون را مورد به مورد گزارش کن؛ امتیاز کل میتواند آن را پنهان کند.
- نام و نسخه مدل را ثبت کن؛ ارتقای مدل هم یک نسخه است.
- پروژه ۱ همه اینها را کنار هم میگذارد: کارت، مثال، Schema، مجموعه آزمون و دفتر نسخه.
پرسشهای سنجش
همکارت برای درخواست «خلاصه نظرهای مشتری درباره یک کتاب» این مجموعه آزمون را ساخته: ده نظر مثبت و کوتاه از یک کتاب. چه ایرادی دارد و دستکم سه مورد که اضافه میکنی کداماند؟
پاسخ نمونه و معیار ارزیابی
مجموعه فقط موارد عادی و یکنواخت دارد و توزیع واقعی را نشان نمیدهد؛ امتیاز بالایش چیزی درباره شکستهای واقعی نمیگوید. موارد پیشنهادی: نظر منفی یا متناقض (هم تعریف هم شکایت)، نظر خیلی بلند، نظر بیربط به کتاب (درباره ارسال)، نظر خالی یا فقط ستاره، نظری که دستوری برای سامانه دارد. هر مورد با «چرا در مجموعه است».
- یکنواختی و نبود موارد دشوار و لبه را ایراد میداند (1 امتیاز)
- دستکم سه مورد متفاوت و معقول پیشنهاد میکند (2 امتیاز)
- تعداد را بیشتر میکنم ← بیشترکردن موارد مشابه کمک نمیکند؛ تنوع و موارد لبه مهم است.
برای سنجش «لحن همدلانه» پیشنویس پاسخها، تیم میخواهد از همان مدلی که پاسخ را نوشته بهعنوان داور استفاده کند، بدون rubric، فقط با پرسش «این پاسخ همدلانه است؟ بله یا نه». ریسکها را بگو و روش بهتری پیشنهاد بده.
پاسخ نمونه و معیار ارزیابی
ریسکها: داوری بدون rubric ناپایدار و مبهم است؛ همان مدل ممکن است خروجی خودش را خوشبینانه بسنجد؛ بله/نه تفاوتهای مهم را نمیگیرد. بهتر: rubric رفتاری (مثلاً دقیقاً یک جمله همدلی، بدون سرزنش، بدون قول)، داور از مدلی متفاوت، و مقایسه دورهای چند نمونه با داوری انسان تا معلوم شود داور قابلاتکاست.
- ریسک نبود rubric را میگوید (1 امتیاز)
- ریسک داوری با همان مدل را میگوید (1 امتیاز)
- rubric رفتاری، مدل متفاوت یا مقایسه با انسان را پیشنهاد میکند (1 امتیاز)
- انسان همه را بخواند ← برای حجم زیاد عملی نیست؛ ترکیب داور مدل با rubric و نمونهبرداری انسانی بهتر است.
خروجی امتیازدهی دو نسخه درخواست را ببین. همکارت میگوید نسخه ۲ را نگه داریم چون امتیازش بالاتر است. تحلیل تو چیست و چه پیشنهادی داری؟
C05 مورد خرید سازمانی است (مثلاً مدرسهای که ۴۰ جلد میخواهد).
v1: 7/10 passed; failed: C04, C07, C08 v2: 9/10 passed; failed: C05 v1 -> v2: fixed ['C04', 'C07', 'C08']; REGRESSED ['C05']
پاسخ نمونه و معیار ارزیابی
نسخه ۲ سه مورد را اصلاح کرده ولی خرید سازمانی (C05) را که قبلاً درست بود خراب کرده است؛ رگرسیون است. دسته سازمانی کمتکرار ولی پرارزش است، پس امتیاز کل گمراهکننده است. پیشنهاد: علت را پیدا کن (احتمالاً مثال تازه توزیع را به ضرر دسته کمتکرار برهم زده)، نسخه ۳ با یک تغییر (مثلاً یک مثال خرید سازمانی) بساز، کل مجموعه را دوباره اجرا کن، و موارد بیشتری از دسته سازمانی به مجموعه اضافه کن. تا آن موقع یا نسخه ۱ بماند یا نسخه ۲ با دلیل ثبتشده و پایش ویژه.
- رگرسیون C05 را تشخیص میدهد (1 امتیاز)
- میگوید امتیاز کل رگرسیون دسته پرارزش را پنهان میکند (1 امتیاز)
- نسخه تازه با یک تغییر و اجرای کل مجموعه را پیشنهاد میکند (1 امتیاز)
- نسخه ۲ بهتر است ← ممکن است در نهایت نگه داشته شود، ولی فقط با دلیل ثبتشده؛ رگرسیون در دسته پرارزش نباید بیصدا پذیرفته شود.
بدون هیچ تغییری در درخواست، امتیاز طبقهبند روی مجموعه آزمون از ۹ به ۷ رسیده است. چه چیزی را اول بررسی میکنی و چطور از تکرارش جلوگیری میکنی؟
پاسخ نمونه و معیار ارزیابی
اول دفتر نسخه: نام و نسخه مدل دو اجرا یکی بود؟ احتمالاً مدل پشت نام عمومی عوض شده یا ارائهدهنده رفتار پیشفرض را تغییر داده است. همچنین ناپایداری نمونهگیری را با چند اجرای دوباره رد کن. جلوگیری: نسخه مشخص مدل را ثابت کن، نام و تاریخ مدل را در هر اجرا ثبت کن، و ارتقای مدل را مثل نسخه تازه با کل مجموعه بسنج.
- تغییر مدل را علت محتمل میداند (1 امتیاز)
- ناپایداری نمونهگیری را با اجرای دوباره رد میکند (1 امتیاز)
- ثابتکردن نسخه مدل و ثبت آن را پیشنهاد میکند (1 امتیاز)
- درخواست را تغییر میدهم ← پیش از تغییر درخواست، علت را پیدا کن؛ وگرنه دو متغیر را همزمان عوض کردهای.
فهرست تحویلی پروژه ۱ را بنویس و برای هر بخش یک جمله بگو چه چیزی را ثابت میکند.
پاسخ نمونه و معیار ارزیابی
کارت درخواست (هدف، زمینه، محدودیت، قالب و معیار پذیرش روشن است)؛ دستورالعمل سیستمی با مثالهای متنوع (قالب و برچسب پایدار است)؛ قرارداد خروجی و Schema (برنامه میتواند خروجی را بخواند و اعتبارسنجی کند)؛ مجموعه آزمون دهموردی با موارد دشوار و لبه (درخواست در شرایط سخت سنجیده شده)؛ جدول امتیاز و ثبت شکست (شاهد بررسی)؛ دفتر نسخه با مقایسه دو نسخه و رگرسیون (تغییرها کنترلشده و قابل بازتولیدند).
- کارت، Schema و مجموعه آزمون را میآورد (1 امتیاز)
- ثبت شکست و مقایسه دو نسخه را میآورد (1 امتیاز)
- برای هر بخش هدف یا شاهد آن را میگوید (1 امتیاز)
- فقط درخواست نهایی ← درخواست بدون مجموعه آزمون و دفتر نسخه، ادعاست نه شاهد.
فایلهای درس
پیامهای پشتیبانی ساختگی
barg-sabz-tickets.csvمجموعه آزمون دهموردی نمونه
test-cases.csvنتیجههای ساختگی دو نسخه درخواست
sample-results.csvامتیازدهی و تشخیص رگرسیون
score_outputs.pyقالب دفتر نسخه
version-log.mdابزارها و جایگزینها
- صفحهگسترده — مجموعه آزمون و امتیازها — Python
- ویرایشگر متن — کارت درخواست، Schema و دفتر نسخه
منابع
Define success criteria and build evaluations Anthropic docs 2026-10
Prompt engineering OpenAI docs 2026-10