تجزیه کار، زنجیره پرامپت و مدلهای استدلالی
کار پیچیده را به گامهای قابل بررسی بشکن، خروجی هر گام را پیش از گام بعد بسنج، و تصمیم بگیر کی مدل استدلالی ارزش هزینه و زمانش را دارد.
بعد از این درس میتوانی
- یک کار پیچیده را به گامهایی با ورودی، خروجی و بررسی مشخص تجزیه کند.
- زنجیرهای از درخواستها طراحی کند که خروجی میانی هر گام پیش از گام بعد سنجیده شود.
- با مقایسهٔ دقت، هزینه، تأخیر و ریسک، میان درخواست ساده، زنجیره و مدل استدلالی تصمیم بگیرد؛ برتری هیچ روشی را از پیش فرض نکند.
- برای مدل استدلالی هدف و معیار موفقیت روشن بنویسد، بدون الزام نمایش زنجیره فکر داخلی، و تنظیمات نسخهای را تشخیص دهد.
چرا این درس مهم است
مدیر برگ سبز میخواهد هر هفته یک گزارش یکصفحهای از پیامهای پشتیبانی داشته باشد: چند پیام در هر دسته، سه مشکل پرتکرار، و پیشنویس پاسخ برای پیامهای فوری. همکارش همه پیامها را در یک درخواست بلند میگذارد و هر چهار کار را یکجا میخواهد. خروجی روان است، ولی شمار پیامهای هر دسته با واقعیت نمیخواند، یک پیام فوری جا افتاده، و معلوم نیست خطا در کدام بخش کار رخ داده است.
یک درخواست بزرگ یعنی یک جعبه سیاه بزرگ. وقتی کار را به گامهایی بشکنی که هرکدام ورودی و خروجی و بررسی خودش را دارد، امکان تشخیص محل خطا بهتر میشود؛ اما هر مرحلهٔ اضافی خودش هزینه، تأخیر و خطای احتمالی دارد. این درس همین را آموزش میدهد و یک تصمیم مهم امروزی را هم کنارش میگذارد: کی مدلهای استدلالی، که ممکن است منابع پردازشی بیشتری مصرف کنند، نسبت به راهحل ساده ارزش هزینه و زمانشان را دارند.
مفاهیم کلیدی
یادآوری: توکن استدلال را در درس سوم دوره قبل دیدی: معمولاً دیده نمیشود ولی جزو خروجی حساب میشود.
- `Task Decomposition` (تجزیه کار): شکستن یک کار پیچیده به گامهایی که هرکدام یک کار مشخص و قابل بررسی دارند.
- `Prompt Chaining` (زنجیره درخواست): اجرای چند درخواست پشت سر هم که خروجی هرکدام ورودی بعدی است.
- `Intermediate Output` (خروجی میانی): خروجی یک گام زنجیره که پیش از رفتن به گام بعد بررسی میشود.
- `Reasoning Model` (مدل استدلالی): مدلی با قابلیت استدلال داخلی که در بعضی وظایف چندمرحلهای مفید است؛ تولید توکنهای استدلال و نحوه گزارششان وابسته به مدل است.
- `Self-check` (خودبررسی): گامی که از مدل میخواهد پیش از پایان، پاسخ را با معیارهای مشخص بسنجد.
برچسب دوام: تفکیک مسئولیت و سنجش خروجی میانی [اصل پایدار] است؛ زنجیرهٔ چنددرخواستی و انتخاب مدل استدلالی [استاندارد] و مشروط به مسئلهاند؛ reasoning.effort، budget_tokens و think [ابزار]های وابسته به مدل و نسخه هستند. برای مبانی توکن به tokens-context-cost و برای مقایسهٔ نظاممند به testing-prompts-project مراجعه کن.
مدل ذهنی
زنجیره درخواست مثل خط مونتاژ با ایستگاه کنترل کیفیت است: هر ایستگاه یک کار انجام میدهد و قطعه پیش از رفتن به ایستگاه بعد بازرسی میشود. اگر قطعه معیوب بود، همانجا برمیگردد، نه در پایان خط.
مدل استدلالی را میتوان برای تقریب ذهنی شبیه کارشناسی که مسئله را پیش از پاسخ پردازش میکند دید، نه کسی با یادداشتهای واقعی یا قابل اعتماد. راهنمای OpenAI همین تفاوت را با تشبیه همکار ارشد و تازهکار میگوید: به مدل استدلالی هدف میدهی و جزئیات را خودش درمیآورد؛ مدل غیراستدلالی با دستورهای دقیق بهتر کار میکندsrc-openai-reasoning-best-practices.
زنجیره سهگامی با بررسی خروجی میانی
این تشبیه کجا غلط است؟ در خط مونتاژ، هر ایستگاه دقیقاً همان کار را هر بار تکرار میکند. هر گام زنجیره هنوز یک مدل زبانی است که ممکن است خطای تازه بسازد. بررسی میانی خطا را زودتر نشان میدهد، ولی آن را صفر نمیکند. «یادداشتهای» مدل استدلالی هم اثبات درستی پاسخ نیستند و جای بررسی خروجی را نمیگیرند.
گامبهگام
گام ۱: نشانههای اینکه یک درخواست بیش از یک کار دارد
- در درخواست چند فعل اصلی هست: «استخراج کن، دستهبندی کن، خلاصه کن و پاسخ بنویس».
- بخشهایی از خروجی معیار پذیرش متفاوتی دارند (شمارش دقیق در برابر لحن پاسخ).
- وقتی خروجی غلط است، نمیتوانی بگویی کدام بخش کار خراب شده.
- بخشی از کار محاسبه یا شمارش است؛ کاری که بهتر است اصلاً به مدل زبانی سپرده نشود.
گام ۲: تجزیه با سه ستون
برای هر گام سه چیز بنویس: ورودی، خروجی و بررسی. اگر نتوانستی بررسی گامی را بنویسی، گام هنوز خیلی بزرگ است.
| گام | ورودی | خروجی | بررسی |
|---|---|---|---|
| ۱. استخراج | متن هر پیام | شماره سفارش (یا «ندارد»)، موضوع، فوری؟ | شماره سفارش در متن پیام هست؟ |
| ۲. طبقهبندی | خروجی گام ۱ | یکی از شش برچسب | برچسب در فهرست مجاز است؟ |
| ۳. شمارش | برچسب همه پیامها | تعداد هر دسته | با صفحهگسترده یا کد، نه با مدل |
| ۴. پیشنویس | پیامهای فوری + سیاست | پیشنویس پاسخ | معیارهای درس اول: بدون قول خارج از سیاست، طول مجاز |
گام شمارش را به ابزار قطعی بسپار تا نتیجه مستقل از تولید متن باشد. درستی محاسبه را با تطبیق تعداد ورودیها بررسی کن؛ انتخاب مدل و هزینهٔ کامل در cost-latency-models آموزش داده میشود.
گام ۳: زنجیره بساز و خروجی میانی را ببین
مستندات Anthropic میگوید حتی با قابلیتهای فکرکردن مدلهای امروزی، زنجیره صریح وقتی مفید است که بخواهی خروجیهای میانی را ببینی و بررسی کنی؛ و الگوی رایجش را «پیشنویس، بازبینی با معیار، اصلاح» میداند که هر مرحله یک فراخوانی جداستsrc-claude-prompting-best-practices.
سه قاعده عملی:
- قالب خروجی هر گام را ثابت کن. گام بعد باید بتواند خروجی گام قبل را بیابهام بخواند. درس پنجم این را با
JSONمحکم میکند. - فقط آنچه لازم است را جلو ببر. گام پیشنویس به متن کامل همه پیامها نیاز ندارد؛ فقط پیامهای فوری و سیاست.
- برای هر بررسی، تکلیف شکست را معلوم کن: تکرار همان گام، رد کردن مورد، یا سپردن به انسان.
گام ۴: مدل استدلالی چیست و چه هزینهای دارد
برخی مدلهای استدلالی توکنهای داخلی تولید میکنند که در متن پاسخ نمایش داده نمیشوند؛ نحوه حسابشدن و گزارش مصرف آنها را باید از خروجی همان ارائهدهنده خواندsrc-openai-tokens-help و ممکن است در بودجهٔ توکن/کانتکست همان سرویس نقش داشته باشندsrc-claude-context-windows.
راهنمای OpenAI میگوید مدلهای استدلالی برای برنامهریزی چندمرحلهای، تصمیم بر پایه اطلاعات مبهم یا حجیم و کارهایی که دقت بالا لازم دارند مناسباند؛ مدلهای غیراستدلالی وقتی سرعت و هزینه از بالاترین دقت مهمترند یا کار روشن و ساده است؛ و مدلهای استدلالی کندترندsrc-openai-reasoning-best-practices. در بعضی سناریوها میتوان برنامهریزی را به یک مدل و اجرا را به مدل سادهتر سپرد؛ باید هزینه و کیفیت کل گردشکار سنجیده شودsrc-openai-reasoning-best-practices.
گام ۵: درخواست برای مدل استدلالی فرق دارد
طبق راهنمای OpenAI، برای مدل استدلالیsrc-openai-reasoning-best-practices:
- درخواست را ساده و مستقیم بنویس؛ بهطور پیشفرض دستور «زنجیرهٔ فکر داخلیات را نشان بده» نده؛ راهنمای OpenAI چنین دستورهایی را معمولاً غیرضروری و گاهی مخل میداند، نه اینکه در همهٔ مدلها همیشه زیانآور باشند.
- بخشهای ورودی را با جداکننده جدا کن.
- اول نسخه بدون مثال را بسنج و فقط در صورت نیاز مثال همخوان اضافه کن.
- محدودیتها و معیار موفقیت را صریح بگو.
مستندات Anthropic هم برای مدلهای خودش یک گام خودبررسی پیشنهاد میکند: «پیش از پایان، پاسخت را با این معیارها بسنج»src-claude-prompting-best-practices. این گام در هر دو نوع مدل مفید است، ولی جای بررسی بیرونی را نمیگیرد.
| موقعیت | انتخاب پیشفرض |
|---|---|
| کار ساده و پرحجم (برچسبزدن پیام) | مدل سادهتر با درخواست دقیق؛ مثال فقط در صورت نیاز |
| کار چندبخشی با بخشهای قابل بررسی جدا | زنجیره با گامهای قابل بررسی، در صورت بهبود نسبت به تکدرخواست |
| یک تصمیم پیچیده با اطلاعات مبهم (برنامهریزی، تحلیل قرارداد) | مدل استدلالی بهعنوان گزینه آزمایشی، با معیار موفقیت صریح |
| کار بزرگ که هم برنامهریزی و هم اجرای پرحجم دارد | امکان تفکیک برنامهریزی و اجرای ساده، پس از مقایسه |
| شمارش، جمع و محاسبه | ابزار (صفحهگسترده یا کد)، نه مدل |
چه زمانی زنجیره نسازیم؟ اگر یک طبقهبندی یا بازنویسی ساده با یک درخواست به معیار پذیرش میرسد، تماسهای اضافه معمولاً توجیهی ندارند. در مسائل محاسباتی ابتدا داده را استخراج کن، محاسبه را با ابزار قطعی انجام بده و سپس پیشنویس بساز؛ برای طراحی کامل این معماری به llm-workflow-patterns ارجاع بده. پژوهش داوریشدهٔ Tam دربارهٔ اثر محدودیت قالب، مختص وظایف و مدلهای آزمایششده است و از آن قانون «JSON همیشه دقت را کم میکند» نتیجه نمیشودsrc-tam-format.
پاسخ قابل بررسی، نه زنجیره فکر داخلی: از مدل نتیجه، شواهد قابل استناد، فرضهای اصلی و موارد نامطمئن بخواه؛ بازتاب استدلال پنهان یا فیلد اجباری reasoning_steps را معیار موفقیت قرار نده. کنترل مستقل نتیجه یا محاسبه از خودبررسی مدل مهمتر استsrc-openai-reasoning-best-practices.
مثالها
پیادهسازی عملی
ساخت زنجیره سهگامی. حدود ۱۵ دقیقه. هشت پیام T01، T03، T04، T06، T09، T11، T12 و T13 از shared/barg-sabz-tickets.csv را بردار. سیاست مرجوعی در shared/policy-barg-sabz.md است.
- گام استخراج: برای هر پیام بخواه سه چیز را با قالب ثابت بنویسد:
شماره سفارش: …(یا «ندارد»)،موضوع: …(حداکثر پنج واژه)،فوری: بله/خیر. هر خروجی را بررسی کن: شماره سفارش واقعاً در پیام هست؟ - گام طبقهبندی: فقط خروجی گام ۱ را بده و برچسب بخواه (دستورالعمل درس قبل). بررسی: برچسب در فهرست است؟
- گام پیشنویس: فقط برای پیامهای فوری، پیشنویس پاسخ با سیاست مرجوعی و معیارهای درس اول.
- همین هشت پیام را یک بار هم با یک درخواست بزرگ که هر سه کار را یکجا میخواهد امتحان کن. دو نتیجه را مقایسه کن: کجا خطا بود و کدام نسخه نشان داد خطا کجاست؟
سرویس میزبانیشده (در دسترس قانونی)
هر گام را در گفتگوی تازه یا پیام جدا اجرا کن و خروجیاش را در دفترچه بچسبان؛ گام بعد فقط همان خروجی را میگیرد. اگر به یک مدل استدلالی قانونی دسترسی داری، نسخه یکدرخواستی را با آن هم اجرا کن و زمان پاسخ را ثبت کن.
اجرای محلی
با Ollama هر گام یک درخواست جداست. اگر مدلی با قابلیت thinking داری، نسخه یکدرخواستی را یک بار با "think": true و یک بار با "think": false اجرا کن و message.thinking را نگاه کنsrc-ollama-thinking. مدلهای محلی کوچک در گام استخراج ممکن است قالب ثابت را رعایت نکنند؛ این همان چیزی است که بررسی میانی باید بگیرد.
بدون اجرا / شبیهساز
فایل assets/chain-runs.md خروجیهای ساختگی هر سه گام و نسخه یکدرخواستی را دارد. بررسی هر گام را خودت انجام بده و جدول مقایسه را پر کن.
اشتباههای رایج
| اشتباه | نتیجه | کار درست |
|---|---|---|
| همه کارها در یک درخواست | خطا پیدا نمیشود و جای خطا معلوم نیست | تجزیه با ورودی، خروجی و بررسی |
| گام بدون بررسی | خطای گام اول تا آخر زنجیره میرود | برای هر گام یک بررسی و تکلیف شکست |
| سپردن شمارش و جمع به مدل | عدد غلط با لحن مطمئن | ابزار محاسبه |
| فرستادن همهچیز به همه گامها | هزینه بیشتر و دقت کمتر | فقط داده لازم هر گام |
| «قدمبهقدم فکر کن» برای مدل استدلالی | دستور بیفایده یا حتی مضر | هدف، محدودیت و معیار موفقیت صریح |
| مدل استدلالی برای کار ساده پرحجم | کندی و هزینه بیدلیل | مدل سریع با درخواست دقیق |
| تکیه بر خودبررسی مدل بهجای بررسی بیرونی | خطا با تأیید خود مدل عبور میکند | خودبررسی + بررسی بیرونی |
اشکالزدایی
گام دوم شکست میخورد چون خروجی گام اول گاهی قالب دیگری دارد (مثلاً «سفارش شماره» بهجای «شماره سفارش:»).
قالب خروجی میانی ثابت نشده یا بررسی نشده است.
خروجیهای گام اول را کنار هم بگذار و ببین کدام از قالب پیروی نکردهاند.
قالب دقیق با مثال؛ در گام بررسی، خروجی بدقالب را رد کن و همان گام را دوباره اجرا کن (درس پنجم: JSON و Schema).
گزارش نهایی یک پیام فوری را ندارد.
گام استخراج «فوری» را برای آن پیام اشتباه تشخیص داده و خطا تا آخر رفته است.
خروجی میانی گام اول همان پیام را ببین؛ زنجیره دقیقاً نشان میدهد خطا کجا رخ داده است.
تعریف «فوری» را با مثال دقیق کن (کسر وجه، آسیب کالا، تهدید به لغو) و برای حالت مبهم، فوریبودن را پیشفرض بگذار و به انسان بسپار.
با مدل استدلالی، پاسخ هر پیام خیلی طول میکشد یا ابزارت پیش از رسیدن پاسخ قطع میکند.
مدل استدلالی کندتر است و برای کار ساده پرحجم انتخاب شده است.
زمان پاسخ را با مدل سریع روی همان ورودی مقایسه کن.
برای گامهای ساده مدل سریع؛ مدل استدلالی فقط برای گام تصمیم پیچیده. اگر لازم است، سطح فکرکردن را پایین بیاور.
نکتههای امنیتی
نکتههای هزینه
تمرین کوتاه
تمرین · 10 دقیقه
هدف: تجزیه کار با سه ستون.
موقعیت (ساختگی): مدیر برگ سبز هر ماه میخواهد بداند کدام ده کتاب بیشترین فروش را داشتهاند، برای هرکدام یک جمله معرفی برای خبرنامه داشته باشد، و بداند کدامها کمتر از پنج نسخه موجودی دارند. داده: فایل فروش ماه (عنوان، تعداد فروش) و فایل موجودی (عنوان، موجودی).
گامها: کار را به گامهایی با ستونهای ورودی، خروجی، بررسی و «انجام با: مدل یا ابزار» تجزیه کن.
معیار پذیرش: دستکم چهار گام؛ رتبهبندی فروش و مقایسه موجودی با ابزار انجام شود، نه مدل؛ گام نوشتن معرفی بررسی مشخص داشته باشد.
راهحل نمونه
- مرتبسازی فروش و برداشتن ده عنوان اول — ورودی: فایل فروش — خروجی: ده عنوان — بررسی: جمع و ترتیب — ابزار.
- پیوند با موجودی — ورودی: ده عنوان + فایل موجودی — خروجی: موجودی هر عنوان — بررسی: همه ده عنوان پیدا شدند؟ — ابزار.
- علامت کمموجودی (کمتر از ۵) — ابزار.
- معرفی یکجملهای — ورودی: عنوان و اطلاعات تأییدشده هر کتاب — خروجی: ده جمله — بررسی: حداکثر ۲۵ واژه، بدون ادعای «پرفروشترین» یا جایزهای که در اطلاعات نیست — مدل.
- چیدن خبرنامه — ورودی: خروجی ۳ و ۴ — بررسی: بازخوانی انسانی.
چالش
تمرین · 30 دقیقه
موقعیت: یک کار چندبخشی از کار خودت انتخاب کن که الان یا با یک درخواست بزرگ انجام میدهی یا دستی (مثلاً گزارش دورهای، پردازش فرمها، آمادهکردن محتوا از چند منبع). اگر دادهاش حساس است، نمونه ساختگی یا ناشناسشده بساز.
- کار را با جدول سهستونی (ورودی، خروجی، بررسی) تجزیه کن و برای هر گام بنویس با مدل انجام میشود یا با ابزار.
- برای هر بررسی، تکلیف شکست را بنویس: تکرار، رد، یا انسان.
- دستکم دو گام زنجیره را روی دو نمونه اجرا کن (یا اگر مدلی در دسترس نداری، خروجی مورد انتظار هر گام را بنویس).
- یک بند تصمیم بنویس: آیا گامی هست که مدل استدلالی ارزشش را دارد؟ با معیار دقت، هزینه و زمان.
خروجی مورد انتظار: جدول تجزیه، خروجیهای میانی دو گام روی دو نمونه، و بند تصمیم درباره مدل استدلالی.
معیار پذیرش:
- هر گام بررسی قابل انجام دارد و تکلیف شکستش معلوم است.
- محاسبه و شمارش به ابزار سپرده شده است.
- خروجی میانی واقعاً ثبت و بررسی شده است.
- تصمیم مدل استدلالی با دستکم دو معیار از سه معیار دقت، هزینه و زمان توجیه شده است.
راهنما: اگر برای گامی نمیتوانی بررسی بنویسی، آن گام را دوباره بشکن.
پرسشهای سنجش
جمعبندی
- تجزیهٔ کار به مراحل قابل سنجش، امکان ردیابی خطا را بیشتر میکند؛ اما پیچیدگی و هزینهٔ مراحل اضافه نیز باید توجیه شوند.
- هر گام ورودی، خروجی و بررسی دارد؛ اگر بررسی گامی را نمیتوانی بنویسی، گام خیلی بزرگ است.
- خروجی میانی را پیش از گام بعد ببین و تکلیف شکست هر بررسی را از پیش تعیین کن.
- شمارش و محاسبه را به ابزار بسپار، نه به مدل زبانی.
- مدل استدلالی برای تصمیم پیچیده و مبهم مفید است، ولی کندتر و گرانتر است؛ برای کار ساده پرحجم مدل سریع بهتر است.
- برای مدل استدلالی هدف، محدودیت و معیار موفقیت را صریح بگو و «قدمبهقدم فکر کن» لازم نیست.
- خودبررسی مدل مفید است، ولی جای بررسی بیرونی را نمیگیرد.
پرسشهای سنجش
یک فروشگاه میخواهد از نظرهای ماهانه مشتریان (حدود ۳۰۰ نظر) یک گزارش بسازد: درصد نظرهای مثبت و منفی، پنج شکایت پرتکرار با یک نمونه نقلقول برای هرکدام، و سه پیشنهاد بهبود. این کار را به گامهایی با ورودی، خروجی، بررسی و «مدل یا ابزار» تجزیه کن.
پاسخ نمونه و معیار ارزیابی
۱) برچسب احساس هر نظر (مثبت، منفی، خنثی) — مدل، یک نظر در هر فراخوانی یا دسته کوچک — بررسی: برچسب در فهرست مجاز. ۲) برچسب موضوع شکایت برای نظرهای منفی — مدل — بررسی: فهرست مجاز موضوعها. ۳) شمارش و درصد احساس و موضوع — ابزار — بررسی: جمع برابر تعداد نظرها. ۴) انتخاب نقلقول برای پنج موضوع اول — مدل یا ابزار — بررسی: نقلقول عیناً در نظر اصلی هست. ۵) سه پیشنهاد بهبود — مدل با ورودی خروجی گامهای ۳ و ۴ — بررسی: هر پیشنهاد به یکی از پنج شکایت وصل است. ۶) بازخوانی انسانی گزارش.
- دستکم چهار گام با ورودی و خروجی مشخص طراحی میکند. (1 امتیاز)
- شمارش و درصد را به ابزار قطعی و نه متن مولد میسپارد. (1 امتیاز)
- برای برچسبها و نقلقولها معیار بررسی مستقل تعیین میکند. (1 امتیاز)
- پیشنهادهای نهایی را به شواهد مرحلههای قبل وصل میکند. (1 امتیاز)
- یک درخواست برای همه نظرها ← ۳۰۰ نظر در یک درخواست، هم شمارش را غیرقابلاتکا میکند و هم جای خطا را پنهان؛ گامها را جدا کن.
در زنجیره سهگامی پشتیبانی (استخراج، طبقهبندی، پیشنویس)، یک پیشنویس به مشتری شماره سفارشی را ذکر میکند که در پیام او نبود. خروجیهای میانی ذخیره شدهاند. چطور خطا را پیدا میکنی و کجا اصلاحش میکنی؟
پاسخ نمونه و معیار ارزیابی
خروجی میانی گام استخراج همان پیام را ببین. اگر شماره سفارش آنجا ظاهر شده ولی در پیام اصلی نیست، خطا در گام ۱ است (پرکردن جای خالی یا آمدن داده از پیام دیگر). اصلاح در همان گام: دستور «اگر شماره در متن نیست بنویس ندارد»، و بررسی گام ۱ که شماره را در متن اصلی جستوجو کند و در صورت نبودن، خروجی را رد کند. اگر شماره در خروجی گام ۱ درست بود، خطا در گام ۳ است و همان بررسی باید آنجا هم اجرا شود.
- محل خطا را به گام مستقل و با شواهد مربوط پیوند میدهد. (1 امتیاز)
- یک معیار پذیرش روشن برای خروجی میانی مشخص میکند. (1 امتیاز)
- مسیر شکست را تکرار محدود یا ارجاع انسانی میگذارد. (1 امتیاز)
- اصلاح را به بخش معیوب محدود میکند، نه اینکه بیدلیل کل زنجیره را عوض کند. (1 امتیاز)
- پیشنویس را دستی اصلاح میکنم ← این مورد را درست میکند، ولی علت در گام قبل میماند و تکرار میشود.
برای دو کار تصمیم بگیر از مدل استدلالی استفاده شود یا نه، و دلیل بیاور: (الف) برچسبزدن روزانه حدود ۲٬۰۰۰ پیام کوتاه پشتیبانی با شش برچسب ثابت؛ (ب) پیشنهاد اینکه با کدامیک از سه پخشکننده قرارداد سالانه بسته شود، بر پایه شرطهای پرداخت، هزینه ارسال، حداقل سفارش و الگوی فروش دو سال گذشته.
پاسخ نمونه و معیار ارزیابی
(الف) برای ۲۰۰۰ پیام کوتاه، ابتدا مدل سادهتر را در همان مجموعهٔ آزمون بسنج؛ اگر معیار را پاس میکند، مدل استدلالی لزوماً توجیه ندارد. (ب) برای تصمیم چندمعیاره قرارداد سالانه، مدل استدلالی یکی از گزینههای قابل مقایسه است، نه برندهٔ تضمینی. معیار موفقیت و هزینه/تأخیر را پیش از اجرا ثبت کن؛ جمع و تفریق و مقایسه اعداد را با صفحهگسترده بررسی کن. تنظیمهای استدلال به نسخهٔ API وابستهاند.
- در (الف) مدل سادهتر را به دلیل حجم و روشنبودن کار بهعنوان نقطه شروع انتخاب میکند. (1 امتیاز)
- در (ب) مدل استدلالی را گزینه قابل آزمون، نه انتخاب تضمینی، میداند. (1 امتیاز)
- کل هزینه و تأخیر را همراه با دقت واقعی روی مجموعه آزمون میسنجد. (1 امتیاز)
- محاسبه و تصمیم مهم را با ابزار قطعی یا کنترل انسانی اعتبارسنجی میکند. (1 امتیاز)
- برای هر دو مدل استدلالی ← برای کار ساده پرحجم، مدل استدلالی کندی و هزینه اضافه دارد بدون سود محسوس.
کدام درخواست برای یک مدل استدلالی که قرار است بین سه پیشنهاد پخشکننده یکی را انتخاب کند، مناسبتر است؟
- «قدمبهقدم فکر کن و تمام مراحل استدلالت را بنویس، سپس بگو کدام بهتر است.»
- «هدف: انتخاب یک پخشکننده برای قرارداد سالانه. محدودیت: بودجه ماهانه ارسال حداکثر X. معیار موفقیت: یک گزینه، دو دلیل مستند به داده زیر، یک ریسک. دادهها داخل <offers>.»
- «تو یک مشاور خرید باتجربه هستی. بهترین پخشکننده را انتخاب کن.»
- «ده مثال از تصمیمهای خرید قبلی را ببین و به همان سبک پاسخ بده.» (بدون داده پیشنهادها)
پاسخ نمونه و معیار ارزیابی
- a ← مدل استدلالی خودش استدلال میکند؛ این دستور لازم نیست و ممکن است نتیجه را بدتر کند.
- c ← نقش بدون داده و معیار، پاسخ کلی میسازد؛ «بهترین» تعریف نشده است.
- d ← برای مدل استدلالی اول بدون مثال امتحان کن؛ و بدون داده پیشنهادها، تصمیم بیپایه است.
تیمی پس از رفتن به یک مدل استدلالی برای پاسخ به پیامها میبیند پاسخهای نمایشدادهشده کوتاهتر شدهاند ولی صورتحساب ماهانه تقریباً سه برابر شده است. توضیح بده چه شده و چطور تأییدش میکنی.
پاسخ نمونه و معیار ارزیابی
از کوتاهشدن پاسخ دیدهشده نمیتوان درباره هزینه نتیجه گرفت. یک علت محتمل مصرف توکن داخلی استدلال است، ولی تغییر تعرفه، مدل، تعداد درخواست و طول ورودی هم باید بررسی شوند. فیلدهای usage و صورتحساب واقعی را با نسخه قبلی روی ورودی همسان مقایسه کن؛ اگر کار ساده است گزینه سریعتر یا تنظیم effort سازگار را نیز بیازما. بدون دادهٔ مصرف نمیتوان علت «سه برابرشدن» را قطعی دانست.
- بین طول متن قابل مشاهده و مصرف کل پردازش تمایز میگذارد. (1 امتیاز)
- توکن داخلی را فقط یکی از علتهای محتمل میداند. (1 امتیاز)
- مقایسهٔ
usage، تعرفه و تعداد درخواستها روی دادهٔ همسان پیشنهاد میدهد. (1 امتیاز) - گزینهٔ مدل سادهتر یا تنظیم معتبر effort را مشروط به آزمون مطرح میکند. (1 امتیاز)
- قیمت ارائهدهنده بالا رفته ← ممکن است، ولی اول usage را ببین؛ توکنهای استدلال رایجترین علت این الگوست.
فایلهای درس
پیامهای پشتیبانی ساختگی
barg-sabz-tickets.csvسیاست مرجوعی ساختگی
policy-barg-sabz.mdخروجیهای میانی ساختگی زنجیره سهگامی و نسخه تکدرخواستی
chain-runs.mdابزارها و جایگزینها
- ویرایشگر متن یا دفترچه آزمایش — طراحی زنجیره و ثبت خروجیهای میانی — صفحهگسترده
منابع
Reasoning best practices OpenAI مستند رسمی، بدون تاریخ انتشار مشخص؛ بررسی 2026-11-06
Prompting best practices Anthropic مستند رسمی، بدون تاریخ انتشار مشخص؛ بررسی 2026-11-06
What are tokens and how to count them? OpenAI مستند رسمی؛ بدون تاریخ نشر مشخص؛ بررسی 2026-11-06
Context windows Anthropic مستند رسمی، بدون تاریخ انتشار مشخص؛ بررسی 2026-11-06
Thinking Ollama مستند رسمی، بدون تاریخ انتشار مشخص؛ بررسی 2026-11-06
Let Me Speak Freely? A Study On The Impact Of Format Restrictions On Large Language Model Performance Tam et al. / EMNLP Industry Track 2024-11؛ داوریشده (EMNLP 2024 Industry Track)