تک‌ایجنت، ورک‌فلو یا چندایجنتی؟ اقتصاد و خطای مرکب

برای مسئله‌های کاری، معماری کم‌پیچیدگی را بر اساس قابلیت تجزیه، وابستگی، هزینه و شواهد انتخاب کن؛ خطای مرکب و محدودیت بنچمارک را درست توضیح بده.

بعد از این درس می‌توانی

  • در حداقل ۴ از ۵ سناریوی ساختگی، Single LLM Call، Workflow، Single Agent یا MAS را با دلیل انتخاب کند.
  • برای یک سناریو گراف وابستگی، ابزار مجاز و خط مبنای مقایسه تعریف کند.
  • هزینهٔ توکن، زمان و بازبینی را با مقدار اندازه‌گیری‌نشدهٔ null یا NOT_MEASURED از صفر متمایز کند.
  • احتمال موفقیت زنجیره را تنها تحت فرض‌های مشخص محاسبه و محدودیت فرمول را توضیح دهد.
  • نتیجهٔ مقالهٔ Kim et al. را با نسخهٔ سوم، دامنهٔ آزمون و وضعیت preprint نقل کند.

چرا این درس مهم است

موقعیت ساختگی ایرانی: شرکت پخش «باران شرق» هر روز برای ۴۰ سفارش باید موجودی، قیمت مصوب و مسیر ارسال را بررسی کند. مشاور می‌خواهد یک «تیم شش‌ایجنتی» بسازد؛ اما ترتیب بخش بزرگی از کار از قبل روشن است. هزینهٔ طرح را فقط با شمار ایجنت نسنج: پیام‌های تکراری، خطای بین‌مرحله‌ای، زمان انتظار، دوباره‌کاری و تأیید انسانی هم هزینه دارند.

هدف درس: انتخاب میان Single LLM Call، Workflow، Single Agent و Multi-Agent System (MAS) با شواهد. این درس اقتصاد و مرز تصمیم را می‌آموزد، نه کار با یک کتابخانهٔ خاص. مبانی الگوها در agent-design-patterns و ارزیابی تک‌ایجنت در agent-evals آمده است.

مفاهیم کلیدی

نگاشت شایستگی به روبریک زندهٔ آکادمی: C02-I02 مقایسه، C02-I04 استدلال انتخاب، C04-I01 تناسب مسئله و ابزار، C04-I03 محدودیت هزینه، C05-I03 آگاهی از وابستگی‌ها.

[اصل پایدار] سه پرسش مقدماتی: «آیا وظیفه قابل تجزیه است؟»، «آیا مراحل به نتیجه مرحلهٔ قبلی وابسته‌اند؟»، «آیا واقعاً به تصمیم پویا دربارهٔ ابزار یا متخصص نیاز است؟» جدا از این سه پرسش، هزینهٔ سنجش‌پذیر و مجوز اقدام را هم ثبت کن.

  • Single LLM Call: یک خروجی محدود از یک فراخوانی؛ بدون چرخهٔ تصمیم‌گیری.
  • Workflow: مسیر گام‌ها، شرط‌ها و تأییدها از قبل تعریف شده‌اند؛ هر گام می‌تواند کد یا مدل باشد.
  • Single Agent: یک عامل در محدودهٔ مجاز می‌تواند بر اساس مشاهده، ابزار یا گام بعدی را انتخاب کند.
  • MAS: چند عامل با نقش/حالت/پیام یا مالکیت تصمیم جدا؛ صرفاً چند بار صدا زدن یک مدل، لزوماً MAS با مزیت مستقل نیست.
  • Coordination overhead: هزینهٔ انتقال پیام، همگام‌سازی، تکرار کانتکست، رفع تعارض و نظارت.
  • Compound error: خطا می‌تواند در مسیرهای وابسته منتقل و تقویت شود؛ یک ضریب ثابت عمومی ندارد.

مدل ذهنی

خط تولید در برابر اتاق کارشناسان: اگر گام‌های چاپ برچسب معلوم‌اند، خط تولید به «هیئت کارشناسان» نیاز ندارد؛ اگر بررسی یک پرونده گاهی به قرارداد، گاهی به بیمه و گاهی به حمل‌ونقل وصل می‌شود، ارجاع پویا ممکن است مفید باشد. نقطهٔ تمایز، نیاز اثبات‌شدهٔ مسئله است، نه جذابیت نقش‌ها.

[اصل پایدار] یک خط لولهٔ شفاف با آزمون‌های قطعی معمولاً نقطهٔ شروع بهتری است. هر بار که پیچیدگی معماری را بالا می‌بری باید بتوانی منفعت حاشیه‌ای آن را در یک مجموعهٔ آزمایشی همسان نشان بدهی.

محدودیت فرمول احتمالی: اگر شش مرحله مستقل باشند و احتمال موفقیت هر مرحله در همان مجموعهٔ فرضی ۰٫۹۲ باشد، احتمال موفقیت همهٔ مراحل 0.92^6 ≈ 0.606 است. استقلال و یکسان‌بودن احتمال‌ها فرض آموزشی‌اند؛ در سیستم واقعی خطاهای هم‌بسته و کنترل‌های جبرانی این محاسبه را تغییر می‌دهند.

گام‌به‌گام

گام ۱: چهار گزینه را پیش از انتخاب ابزار نام‌گذاری کن

گزینهنشانهٔ مناسبنشانهٔ رد یا بازطراحی
Single LLM Callخلاصه‌سازی یا دسته‌بندی یک متن کوتاهنیاز به محاسبه قطعی یا منبع جدید
Workflowگام‌ها و شرط‌ها از قبل شناخته‌شده‌اندانتخاب گام‌های ناشناخته و پویا ضروری است
Single Agentانتخاب ابزار بر پایه نتیجهٔ قبلی، در دامنه محدودگام‌ها از ابتدا قابل برنامه‌نویسی‌اند
MASزیرمسئله‌های مستقل/متخصص با هماهنگی واقعاً ضروریمبادله پیام و تفکیک نقش ارزشی اضافه نمی‌کند

گام ۲: ماتریس تصمیم را پر کن

معیاربپرسنشانهٔ ثبت‌شدنی
قابلیت تجزیهآیا زیرکارها بدون تبادل مکرر می‌توانند پیش بروند؟تعداد وابستگی‌ها و خروجی هر زیرکار
ترتیبآیا مرحلهٔ ب به خروجی مرحلهٔ الف نیاز دارد؟گراف وابستگی/مسیر بحرانی
ابزار و دادهآیا یک گام نیاز به فراخوانی متعدد ابزار دارد؟فهرست مجوزها، خواندنی/نوشتنی
سنجشچه خطایی را با آزمون قطعی می‌توان گرفت؟تعداد خطاهای ردشده، نه ادعای صفر خطا
اقتصادچه منابعی مصرف می‌شود؟فراخوانی مدل، توکن اندازه‌گیری‌شده، زمان، بازبینی انسانی

گام ۳: خط مبنا را هم‌اندازه بساز

همان ۵ مسئلهٔ ساختگی و همان معیار موفقیت را به یک Workflow و یک طرح MAS بده. ورودی، دادهٔ مجاز، سقف تلاش و معیار موفقیت باید یکسان باشد. اجرای نمایشی یک نمونه، شاهد برتری نیست. برای نتایج نامعین برچسب NEEDS_REVIEW بگذار؛ دادهٔ خالی را صفر عملکرد ننام.

گام ۴: اقتصاد توکن و زمان را بدون قیمت خیالی بنویس

{
  "architecture": "workflow",
  "test_case_id": "CASE-01",
  "model_calls": 2,
  "input_tokens_measured": null,
  "output_tokens_measured": null,
  "elapsed_seconds_measured": null,
  "human_review_minutes": null,
  "result": "NOT_TESTED",
  "cost_formula": "sum(input_tokens*input_rate + output_tokens*output_rate) + review_cost"
}

[ابزار؛ بررسی ۲۰۲۶-۱۱-۰۷] نرخ توکن و سیاست نگهداری داده بسته به سرویس و تاریخ تغییر می‌کند. تا وقتی نرخ واقعی و مقدار اندازه‌گیری‌شده نداری، مبلغ نهایی نساز. برای فارسی نیز «ضریب ثابت» فرض نکن؛ نمونهٔ همان متن را با توکنایزر مدل موردنظر اندازه بگیر یا فقط تعداد کاراکتر را گزارش کن.

گام ۵: احتمال موفقیت مسیر را درست تفسیر کن

برای فرض آموزشیِ مراحل مستقل، حاصل‌ضرب احتمال موفقیت گام‌ها را محاسبه کن؛ سپس صریح بنویس چرا فرض استقلال در دنیای واقعی می‌شکند. خطا ممکن است به همهٔ ایجنت‌ها از یک منبع مشترک برسد، یا Supervisor مانع انتشار خطا شود.

گام ۶: یافته‌های پژوهش را محدود به بسترشان نقل کن

شاهد پژوهشییافتهٔ گزارش‌شدهقید ضروری
Kim et al., arXiv v3۲۶۰ پیکربندی، ۶ بنچمارک، ۵ معماری و ۳ خانوادهٔ مدل؛ در بعضی کارهای موازی مزیت و در برخی کارهای ترتیبی افتپیش‌چاپ؛ نتایج روی همان مدل‌ها، بودجه‌ها و بنچمارک‌ها
Agentless, Xia et al.۳۲٪ حل روی SWE-bench Lite با میانگین هزینهٔ گزارش‌شدهٔ ۰٫۷۰ دلار/مسئلهمختص نسخه، مدل و تنظیم آزمون؛ قیمت فعلی ابزار نیست
More Agents Is All You Needبهبود در روش نمونه‌گیری/رأی‌گیری روی بنچمارک‌های انتخابینباید به «هر تعداد ایجنت، در هر مسئله» تعمیم داده شود

گام ۷: تصمیم معماری را قابل بازبینی ثبت کن

{
  "scenario": "inventory-and-route-review-SYNTHETIC",
  "sequential_dependencies": ["validate_order", "check_inventory", "calculate_fee"],
  "parallel_candidates": ["verify_address", "check_catalog_metadata"],
  "baseline": "deterministic_workflow",
  "proposed_upgrade": "single_limited_agent_if_needed",
  "acceptance": ["same_inputs", "same_checks", "no_unapproved_write"],
  "fallback": "human_review",
  "evidence_status": "DESIGN_ONLY"
}

مثال‌ها

پیاده‌سازی عملی

کارگاه بدون کد و رایگان: یک جدول پنج‌ردیفی برای مقایسهٔ طرح ساده و پیچیده بساز. اجرای سرویس یا اتصال به API لازم نیست. مقدارهای عملکرد را «نتیجهٔ فرضیِ تمرین» بنویس، نه آمار واقعی.

عملیات پخش

ورودی ساختگی: ۵ سفارش با موجودی و تعرفهٔ غیرواقعی.

  1. گام‌های ثابت و وابستگی را رسم کن.
  2. یک Workflow پایه با ۳ کنترل قطعی تعریف کن.
  3. اگر MAS پیشنهاد شد، فایدهٔ خاص و آزمون مقایسه‌ای‌اش را بنویس.

پذیرش: طرح پایه اجراپذیر روی کاغذ و بدون اقدام مالی خودکار باشد.

پژوهش چندمنبعی

ورودی ساختگی: پنج درخواست با شمار اسناد متغیر.

  1. بخش ثابت و بخش جست‌وجوی پویا را تفکیک کن.
  2. اول یک Single Agent با ابزار فقط‌خواندنی پیشنهاد کن.
  3. نقطهٔ ارتقا به MAS را فقط با شاهد و معیار ثبت کن.

پذیرش: برای نبود شاهد خروجی مجزا و توقف محدود تعریف شود.

تحویل: جدول سناریو، گراف وابستگی، یک برگهٔ تصمیم معماری و یک جدول بودجه با مقدارهای اندازه‌گیری‌نشده (null)؛ آن‌ها را صفر نکن.

اشتباه‌های رایج

خطای رایجچرا خطاست؟اصلاح
«۵ ایجنت یعنی ۵ برابر دقت»تعداد نقش، معیار کیفیت نیستبررسی روی داده و بودجه یکسان
گام ثابت را چت چندایجنتی‌کردنسربار هماهنگی بدون منفعت روشنWorkflow و شروط قطعی
قیمت توکن فارسی را حدس‌زدنهزینه مدل، تاریخ و متن وابسته استاندازه‌گیری ورودی واقعی و تعرفهٔ روز
انتقال یک درصد پژوهش به تمام کارهابنچمارک محدودیت داردذکر نسخه، داده، مدل و قید
دادهٔ خالی را شکست صفر درنظرگرفتنفقدان مشاهده با نتیجهٔ آزمون فرق داردNOT_TESTED و NO_DATA

عیب‌یابی

هزینه رشد کرده اما کیفیت بهتر نشده

تاریخچهٔ کامل بین عامل‌ها تکرار می‌شود

تعداد فراخوانی، توکن و پیام‌های دوباره را شمارش کن

فقط خلاصهٔ ساختاریافته و شناسهٔ منبع مجاز بفرست.

گزارش‌ها با هم تناقض دارند

عامل‌ها روی نسخه‌های متفاوت داده تحلیل کرده‌اند

input_snapshot_id هر خروجی را مقایسه کن

نسخهٔ ورودی مشترک و قاعدهٔ حل تعارض بگذار.

یک ایجنت پاسخ غلط داده و همه تکرار کرده‌اند

یک منبع خطا بین مراحل منتشر شده

منبع اولیه و نقطهٔ آغاز انحراف را ردیابی کن

دروازهٔ راستی‌آزمایی مستقل و رد خروجی بی‌سند تعریف کن.

مقایسه معماری نتیجهٔ قابل‌اعتماد ندارد

ورودی، بودجه یا معیار دو گزینه متفاوت است

جدول شرایط آزمایش را بازبینی کن

آزمون با داده و سقف همسان؛ عدم قطعیت را گزارش کن.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 10 دقیقه

پنج موقعیت ساختگی: (۱) خلاصهٔ یک نامه، (۲) استخراج فاکتور و محاسبهٔ مالیاتِ فرضی، (۳) جست‌وجوی چند سند با مسیر ناشناخته، (۴) سه بررسی ثابت و مستقل، (۵) پژوهش دربارهٔ ۲۰ قرارداد با زیرموضوع‌های نامشخص.

کار: یکی از چهار معماری را برای هر مورد انتخاب کن و برای دو مورد رد MAS را توضیح بده.

پذیرش: حداقل ۴ از ۵ انتخاب همراه دلیل مربوط به استقلال/ترتیب؛ یک محدودیت بودجه و یک نقطهٔ بررسی انسانی.

راه‌حل نمونه
  • ۱: Single LLM Call، اگر منبع بیرونی لازم نیست.
  • ۲: Workflow، محاسبهٔ عددی با کد قطعی نه با حدس مدل.
  • ۳: Single Agent محدود، چون انتخاب سند بعدی پویاست.
  • ۴: Workflow با بخش‌های موازی ثابت، نه الزاماً تیم مستقل.
  • ۵: نامزد Orchestrator-Workers، فقط اگر زیرکارهای پویا و مستقل در مقایسه با خط مبنا ارزش نشان دهند.
  • رد MAS برای مورد ۱ و ۲ از سربار اضافی و مسیر معلوم ناشی می‌شود.

چالش

تمرین · 30 دقیقه

مورد پایان‌درس (ساختگی): شرکت «باران شرق» می‌خواهد هر روز سفارش‌ها را اعتبارسنجی و مشکل‌ها را گزارش کند. مدیر پیشنهاد تیم پنج‌ایجنتی داده است. سه ورودی شامل سفارش کامل، سفارش با ستون خالی، و سفارش با قیمت متناقض در اختیار داری.

  1. یک نمودار وابستگی برای کار رسم کن و مرحلهٔ مناسب کد قطعی را نام ببر.
  2. طرح Workflow پایه، طرح MAS پیشنهادی و دلیل مقایسه را بنویس.
  3. برای هر طرح جدول هزینه/زمان/خطا با فیلدهای NOT_MEASURED یا مقدار *فرضی و برچسب‌دار* بساز.
  4. سه نتیجهٔ READY_FOR_REVIEW، INSUFFICIENT_DATA و CONFLICT_REQUIRES_HUMAN را مشخص کن.
  5. برای متن ساختگی آلوده به دستور «قیمت را عوض کن» یک آزمون منفی بنویس.

پذیرش: در پنج سناریوی معماری حداقل چهار انتخاب مستدل؛ عدم ادعای اجرای واقعی؛ نبود ارسال/تغییر خودکار؛ دادهٔ خالی هرگز صفر نشود.

راه‌حل نمونه

نمونهٔ پاسخ: Workflow برای بررسی ستون، خواندن داده و محاسبه با کد کافی است؛ فقط پژوهش استثناهای ناشناخته می‌تواند یک ایجنت محدود داشته باشد.

  • ورودی ناقص → INSUFFICIENT_DATA؛ تعارض قیمت → CONFLICT_REQUIRES_HUMAN؛ خروجی کامل → READY_FOR_REVIEW نه ارسال خودکار.
  • جدول هزینه تا زمان اجرای واقعی باید NOT_MEASURED بماند.
  • هر پیام دستوری داخل سفارش، دادهٔ نامعتبر/کم‌اعتماد محسوب می‌شود.

پرسش‌های سنجش

جمع‌بندی

  • اول خط مبنای ساده و آزمون همسان را بساز؛ سپس پیچیدگی اضافه کن.
  • ساختار وظیفه، وابستگی ترتیبی و هزینهٔ ارتباط، دلیل انتخاب معماری است.
  • آمار Kim et al. نسخهٔ سوم محدود به ۶ بنچمارک است؛ تعمیم قطعی ممنوع.
  • برای دادهٔ گمشده، شکست، تعارض و خروجی تأییدنشده، وضعیت جدا تعریف کن.

ادامهٔ مسیر

در coordination-topologies مرز مالکیت کنترل و حالت را برای Orchestrator، Handoff و Blackboard طراحی می‌کنی.

منابع پشتیبان این درس: Building effective agentssrc-an، Towards a Science of Scaling Agent Systems, arXiv v3src-scale، Agentless: Demystifying LLM-based Software Engineering Agentssrc-agentless، More Agents Is All You Needsrc-forest.

پرسش‌های سنجش

فرآیند استخراج سفارش → محاسبه تعرفه → بازبینی مدیر همواره همین سه گام را دارد. کدام انتخاب به‌عنوان خط مبنا مناسب‌تر است؟

  • یک تیم شش‌ایجنتی
  • یک Workflow با محاسبهٔ قطعی
  • چند ایجنت بدون مجوز مشخص
  • رأی‌گیری پنج مدل
پاسخ نمونه و معیار ارزیابی
  • a ← تعداد عامل جایگزین نیازسنجی نمی‌شود.
  • c ← مجوز نامشخص خطرناک است.
  • d ← رأی‌گیری محاسبهٔ قطعی را تضمین نمی‌کند.

برای یک کارِ پویا چرا «یک ایجنت محدود» را پیش از `MAS` آزمایش می‌کنی؟

پاسخ نمونه و معیار ارزیابی

زیرا نیاز به تصمیم پویا، لزوماً نیاز به چند مالک حالت/پیام مستقل نیست. باید مزیت MAS با هزینه و آزمون همسان نشان داده شود.

  • اصل فنی و انتخاب درست را توضیح می‌دهد (1 امتیاز)
  • قید، محدودیت یا حالت شکست را بیان می‌کند (1 امتیاز)
  • یک کنترل یا پاسخ قابل‌مشاهده و سنجش‌پذیر می‌آورد (1 امتیاز)
  • * ← صرفاً گفتن «MAS گران است» بدون ارزیابی مسئله کافی نیست.

در فرض مستقل‌بودن شش مرحله با موفقیت مرحله‌ای ۹۲٪، موفقیت زنجیره چقدر است و چرا نتیجه واقعی نیست؟

پاسخ نمونه و معیار ارزیابی

0.92^6 ≈ 0.606 یعنی حدود ۶۰٫۶٪ در فرض استقلال و نرخ ثابت؛ خطاهای هم‌بسته یا دروازهٔ کنترل این فرض را تغییر می‌دهند.

  • اصل فنی و انتخاب درست را توضیح می‌دهد (1 امتیاز)
  • قید، محدودیت یا حالت شکست را بیان می‌کند (1 امتیاز)
  • یک کنترل یا پاسخ قابل‌مشاهده و سنجش‌پذیر می‌آورد (1 امتیاز)
  • * ← ضرب ساده بدون اشاره به شرط استقلال تعمیم نادرست است.

آیا بهبود ۸۰٫۸٪ در پژوهش `Kim et al.` یعنی MAS روی همهٔ مسائل ۸۰٫۸٪ بهتر است؟

پاسخ نمونه و معیار ارزیابی

خیر؛ نتیجه برای زیرمجموعه‌ای از کارهای موازی، معماری و تنظیم آزمون خاص در پیش‌چاپ v3 است؛ در وظایف ترتیبی افت هم دیده شده.

  • اصل فنی و انتخاب درست را توضیح می‌دهد (1 امتیاز)
  • قید، محدودیت یا حالت شکست را بیان می‌کند (1 امتیاز)
  • یک کنترل یا پاسخ قابل‌مشاهده و سنجش‌پذیر می‌آورد (1 امتیاز)
  • * ← عدد را نباید به تمام کاربردهای واقعی تعمیم داد.

در یک مقایسه، MAS روی ورودی‌های ساده و `Workflow` روی ورودی‌های دشوار آزموده شده است. اشکال و اصلاح چیست؟

پاسخ نمونه و معیار ارزیابی

مقایسه مخدوش است؛ باید مجموعه موردها، ابزار، سقف تلاش، معیار و تعریف موفقیت همسان باشد؛ دادهٔ آزمون‌نشده NOT_TESTED است.

  • اصل فنی و انتخاب درست را توضیح می‌دهد (1 امتیاز)
  • قید، محدودیت یا حالت شکست را بیان می‌کند (1 امتیاز)
  • یک کنترل یا پاسخ قابل‌مشاهده و سنجش‌پذیر می‌آورد (1 امتیاز)
  • * ← بدون همسان‌سازی شرایط نمی‌توان برتری را ادعا کرد.

ابزارها و جایگزین‌ها

  • ویرایشگر متن آفلاین — ثبت تصمیم، قرارداد و شواهد بدون کلید API یا اشتراک پولی — Notepad — ویرایشگر Markdown — قلم و کاغذ
  • صفحه‌گسترده یا جدول محلی — ثبت سناریوها، محاسبات و نتیجهٔ آزمون — LibreOffice Calc — Excel — جدول کاغذی

منابع

Building effective agents Anthropic Engineering 2024-12-19؛ یادداشت رسمی مهندسی، داوری دانشگاهی ندارد؛ بازبینی 2026-11-07

Towards a Science of Scaling Agent Systems, arXiv v3 Kim et al.; Google Research / Google DeepMind / MIT 2025-12-09؛ نسخهٔ سوم 2026-04-08؛ preprint، داوری‌شده‌بودن تأیید نشد؛ ۲۶۰ پیکربندی، ۶ بنچمارک؛ بازبینی 2026-11-07

Agentless: Demystifying LLM-based Software Engineering Agents Xia et al. 2024-07-01؛ preprint در arXiv؛ نتیجهٔ ۳۲٪ و ۰٫۷۰ دلار ویژهٔ SWE-bench Lite و تنظیم آزمون است؛ بازبینی 2026-11-07

More Agents Is All You Need Li et al. 2024-02-03؛ نسخهٔ arXiv؛ نتایج نمونه‌گیری و رأی‌گیری در بنچمارک‌های منتخب، نه قانون همهٔ معماری‌ها؛ بازبینی 2026-11-07

دوره

سیستم‌های چندایجنتی: کی بله، کی نه