Why LLM Arithmetic Fails: Formulas and Code Instead of Free-Text Math

Calculate synthetic sales with explicit KPI definitions, spreadsheet formulas, independent checks, and qualified reporting.

بعد از این درس می‌توانی

  • در حداقل ۴ از ۵ وضعیت ساختگی، مخرج، واحد و وضعیت رکورد را برای شاخص فروش درست تعیین کند (C01-I03، C02-I03).
  • برای فایل شش‌ردیفی، فرمول مبلغ خالص و جمع paid را بسازد و عدد ۲٬۷۵۰٬۰۰۰ تومان را مستقل بازتولید کند (C03-I03، C06-I01).
  • تفاوت «محاسبهٔ قطعی» و «فرمول منطقی درست» را با یک مثال توضیح دهد (C03-I02، C02-I01).
  • یک گزارش کوتاه با فرض‌ها، استثناها و محدودیت داده ارائه دهد (C02-I05، C06-I05).

چرا این درس مهم است

موقعیت ساختگی: فروشگاه «سرو» شش ردیف سفارش دارد. مدیر از دستیار می‌خواهد «فروش و میانگین خرید را سریع بگو». مدل ممکن است مبلغ سفارش لغوشده را هم حساب کند، تخفیف را جا بیندازد یا عدد درست را با تعریف غلط «فروش» عرضه کند. این درس یک مسیر کوچک اما قابل ممیزی می‌سازد.

هدف این نیست که عدد را در متن چت حدس بزنیم؛ می‌خواهیم تعریف شاخص → فرمول قطعی → اجرای مستقل → تفسیر مشروط را به کار ببریم. همان منطق به بودجه، اضافه‌کاری و موجودی هم تعمیم‌پذیر است.

مفاهیم کلیدی

  • [اصل پایدار] مدل زبانی در برابر موتور محاسبه: مدل برای تعبیر سؤال و پیشنهاد فرمول مفید است؛ SUM یا مفسر کد عملیات تعیین‌شده را روی دادهٔ مشخص اجرا می‌کند. قطعی‌بودن اجرا، درست‌بودن فرمول یا تعریف شاخص را تضمین نمی‌کند.
  • [اصل پایدار] تعریف شاخص: «فروش» این مثال فقط مبلغ سفارش‌های paid پس از تخفیف، بدون مالیات، حمل‌ونقل و مرجوعیِ تسویه‌شده است؛ این تعریف را نباید بی‌اجازه «سود» یا درآمد قطعی حسابداری نامید.
  • [استاندارد/روش] `Reconciliation`: جمع ستونیِ مشتق‌شده را با مسیر دوم مانند SUMPRODUCT، جمع گروه‌ها یا محاسبهٔ دستی روی چند ردیف مطابقت بده. اگر مسیرها تعریف یکسانی ندارند، اختلاف الزاماً خطای موتور نیست.
  • [اصل پایدار] واحد، وضعیت، رکورد گمشده: مبلغ تومان است، paid با cancelled و refunded یکی نیست و مقدار خالی را نباید بی‌دلیل صفر کرد.
  • [پژوهش، نه تضمین] `PAL` و `PoT`: پژوهش‌های داوری‌شده نشان می‌دهند در آزمون‌های خاص، سپردن محاسبه به مفسر کد می‌تواند از محاسبه متنی بهتر باشد؛ هیچ نرخ بهبودی برای پروژهٔ خودت تضمین نمی‌کنندsrc-potsrc-pal.

مدل ذهنی

مدل زبانی مثل دستیار نوشتن دستور آشپزی است: می‌گوید کدام مواد، کدام ترتیب و چه عملیات لازم است. صفحه‌گسترده مثل ترازوی دیجیتال آن عملیات را اجرا می‌کند. اگر واحد را «کیلو» به جای «گرم» نوشته باشی یا کالای باطل‌شده را وارد دستور کرده باشی، ترازو به‌درستی نتیجهٔ دستور غلط را حساب می‌کند.

لایهخروجی قابل مشاهدهچه چیزی را کنترل می‌کنی؟
۱. مسئلهتعریف paid، تخفیف، تومان، مخرج میانگینابهام در تعریف فروش و واحد
۲. فرمولسلول مبلغ خالص در هر ردیفضرب تعداد در قیمت، کسر تخفیف، شرط وضعیت
۳. اجراجمع و شمارش مستقل در Calcدامنهٔ سلول‌ها، قالب داده، خطای محاسبه
۴. گزارشعدد به‌همراه فرض‌ها و استثناهاعدم جعل نتیجه و تصمیم انسانی

گام‌به‌گام

گام ۱: فایل آزمایشی را بساز؛ هیچ حساب کاربری لازم نیست

متن زیر را به‌عنوان sales-small.csv با کدگذاری UTF-8 ذخیره و در LibreOffice Calc باز کن. در واردکردن، جداکننده را ویرگول قرار بده. راهنمای رسمی ورود CSV توضیح می‌دهد که باید جداکننده و نوع ستون‌ها را در پیش‌نمایش کنترل کنیsrc-calc-csv.

order_id,category,qty,unit_price_toman,discount_toman,status
A01,چای,2,150000,0,paid
A02,خرما,1,400000,50000,paid
A03,چای,3,150000,0,cancelled
A04,زعفران,2,700000,100000,paid
A05,خرما,2,400000,0,paid
A06,زعفران,1,700000,0,refunded

گام ۲: به‌جای «فروش» تعریف قابل محاسبه بنویس

فیلتر این تمرین: فقط status=paid. مبلغ هر سفارش معتبر = qty × unit_price_toman − discount_toman. مقدار هر ردیف را کنترل کن؛ ردیف لغوشده و مرجوعی در این تعریف آموزشی صفر مشارکت دارند، نه اینکه لزوماً عملیات مالی مرجوعی برابر صفر باشد.

ردیفمحاسبه به تومانوضعیت در گزارش
A01۲ × ۱۵۰٬۰۰۰ = ۳۰۰٬۰۰۰شامل
A02۴۰۰٬۰۰۰ − ۵۰٬۰۰۰ = ۳۵۰٬۰۰۰شامل
A03۴۵۰٬۰۰۰ مبلغ اسمیخارج: cancelled
A04۱٬۴۰۰٬۰۰۰ − ۱۰۰٬۰۰۰ = ۱٬۳۰۰٬۰۰۰شامل
A05۲ × ۴۰۰٬۰۰۰ = ۸۰۰٬۰۰۰شامل
A06۷۰۰٬۰۰۰ مبلغ اسمیخارج: refunded

گام ۳: موتور قطعی را اجرا کن

در ستون G عنوان net_paid_toman بگذار؛ در G2 فرمول زیر را وارد و تا G7 کپی کن. این فرمول فقط وقتی داده‌های ورودی عددی و وضعیت‌ها معتبرند مجاز است؛ فایل واقعی ابتدا باید از دروازهٔ پاک‌سازی درس cleaning-persian-data عبور کند.

=IF(F2="paid",C2*D2-E2,0)
=SUM(G2:G7)
=COUNTIF(F2:F7,"paid")
=SUM(G2:G7)/COUNTIF(F2:F7,"paid")

در تنظیماتی که جداکنندهٔ آرگومان ; است، به جای , از ; استفاده کن. اگر در فایلت درصد، مالیات یا هزینهٔ ارسال تعریف دیگری دارد، فرمول را قبل از اجرا اصلاح کن؛ مدل حق ندارد آن را حدس بزند.

گام ۴: کنترل مستقل بزن

=SUMPRODUCT((F2:F7="paid")*(C2:C7*D2:D7-E2:E7))

خروجی مرجع این نمونه: جمع سفارش‌های پرداخت‌شده ۲٬۷۵۰٬۰۰۰ تومان، تعداد ۴ سفارش، میانگین ۶۸۷٬۵۰۰ تومان و تعداد کالا در همین چهار سفارش ۷ عدد. جمع SUM(G2:G7) و SUMPRODUCT(...) باید برابر باشند. برابری دو فرمول با یک خطای منطقی مشترک هنوز تضمین صحت نیست؛ وضعیت، واحد و نمونه ردیف‌ها را جدا ببین.

مسیر دوم (اختیاری): محاسبه با کد محلی

import csv
with open("sales-small.csv", encoding="utf-8-sig", newline="") as f:
    rows = list(csv.DictReader(f))
paid = [r for r in rows if r["status"] == "paid"]
net = sum(int(r["qty"]) * int(r["unit_price_toman"])
          - int(r["discount_toman"]) for r in paid)
print(net, len(paid), net / len(paid))
# 2750000 4 687500.0

اگر Python روی رایانه نصب است، کد بالا را کنار sales-small.csv اجرا کن. با کتابخانهٔ استاندارد و بدون اینترنت، باید 2750000 4 687500.0 چاپ شود. اختلاف با نتیجهٔ صفحه‌گسترده نشانهٔ نیاز به بازبینی است؛ برابری نیز جای کنترل تعریف شاخص را نمی‌گیرد.

گام ۵: گزارش صادقانه بنویس

نمونه: «در شش ردیف ساختگی، چهار سفارش با وضعیت paid ثبت شده است. مبلغ پس از تخفیف آن‌ها ۲٬۷۵۰٬۰۰۰ تومان و میانگین هر سفارش پرداخت‌شده ۶۸۷٬۵۰۰ تومان است. سفارش لغوشده و مرجوعی طبق تعریف تمرین کنار گذاشته شدند؛ هزینه حمل، مالیات و سود محاسبه نشده‌اند.»

مثال‌ها

این متن را فقط با دادهٔ ساختگی یا مجاز به مدل بده. اگر چت‌بات در دسترس نیست، مستقیم از فرمول‌های بخش قبل استفاده کن؛ مسیر تمرین وابسته به مدل نیست.

نقش: کمک به نوشتن فرمول، نه تولید عدد از حافظه.
داده: همین CSV ساختگی با ستون‌های order_id,category,qty,unit_price_toman,discount_toman,status.
تعریف: فروش = فقط سفارش paid، پس از تخفیف، به تومان؛ مرجوعی/لغو را جدا گزارش کن.
خروجی: (۱) تعریف فیلتر و واحد (۲) فرمول Calc/Excel با دامنه دقیق
(۳) یک کنترل مستقل با روش متفاوت (۴) فرض‌ها و موارد حذف‌شده.
اگر محیط اجرای فرمول یا کد نداری، عدد نهایی را محاسبه‌شده وانمود نکن.
اگر ستون/واحد/مخرج مبهم است، سؤال بپرس یا وضعیت «نامشخص» بده.

درخواست حرفه‌ای‌تر این است که مدل کد یا فرمول قابل بازبینی بدهد و اجرای آن را در محیط معلوم انجام دهی، نه اینکه از او «دقیقاً همین عدد را تأیید کن» بخواهی.

پیاده‌سازی عملی

مسیر اصلی، رایگان و آفلاین (۲۰ دقیقه): فایل CSV را باز کن، نوع ستون‌های عددی را کنترل کن، فرمول ستون G را بگذار و چهار عدد مرجع را با فرمول دوم و شمارش دستی تطبیق بده. بعد یک ردیف paid را به cancelled تغییر بده و تغییر قابل انتظار را قبل از اجرای دوباره پیش‌بینی کن. در پایان مقدار اولیه را بازگردان.

مسیر اختیاری با دستیار آنلاین: فقط متن ساختگی را بده؛ از مدل بخواه دو فرمول مستقل و تعریف KPI را پیشنهاد کند. با تغییر داده، بپرس چه چیزهایی باید دوباره محاسبه شوند. فرمول‌های دریافتی را در صفحه‌گسترده اجرا کن. تفاوت نسخهٔ مدل یا اشتراک نباید معیار قبولی باشد.

شاهد تحویلملاک پذیرش
فایل یا تصویر از جدولهر ۶ order_id و status واضح باشد
فرمول ستون مبلغ و فرمول دومفیلتر هر دو فقط paid باشد
نتیجه و واحد۲٬۷۵۰٬۰۰۰ تومان؛ ۴ سفارش؛ ۶۸۷٬۵۰۰ تومان
یک پاراگراف گزارشعدم ادعای سود یا فروش کل شرکت

اشتباه‌های رایج

اشتباه رایجچرا غلط می‌شود؟اصلاح
جمع‌زدن متن آزاد توسط مدلریسک لغزش عددی و حذف شرط‌هافرمول اجرایی و داده ثابت
گنجاندن cancelled در درآمدتعریف شاخص نقض می‌شودفیلتر وضعیت صریح
گذاشتن عدد خالی برابر صفرابهام از چشم پنهان می‌شودپرچم خطا و کنترل کیفیت ورودی
میانگین گرفتن از همه ۶ ردیفمخرج اشتباه استتعداد سفارش معتبر ۴
«دو روش برابر شد، پس قطعاً درست است»هر دو ممکن است قاعده غلط مشترک داشته باشندبازبینی تعریف و نمونه ردیف

عیب‌یابی

جمع برابر ۳٬۹۰۰٬۰۰۰ شده است

احتمالاً سفارش‌های cancelled و refunded هم محاسبه شده‌اند.

فرمول را برای ردیف A03 و A06 و شرط ستون F بررسی کن.

فیلتر فقط paid را اعمال کن؛ سپس با شمارش ۴ سفارش معتبر مقایسه کن.

فرمول به‌جای عدد #VALUE! برمی‌گرداند.

ستون تعداد یا قیمت به شکل متن وارد شده است.

روی چند سلول ISNUMBER را آزمایش و نوع داده را هنگام ورود CSV چک کن.

ابتدا مقدار متنی را در نسخهٔ پاک‌سازی تبدیل کن؛ اصل خام بماند.

نتیجه جمع درست ولی میانگین نادرست است.

تعداد سفارش کل یا تعداد سطرها جای مخرج «پرداخت‌شده» نشسته است.

مخرج را با COUNTIF(...,"paid") بسنج.

مخرج را ۴ سفارش قرار بده؛ واحد میانگین «تومان/سفارش» است.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 8 دقیقه

سناریوی ساختگی: مدیر می‌گوید «۶ سفارش را در AVERAGE تقسیم کن». بدون بازکردن مدل، توضیح بده چرا اشتباه است؛ مقدار صحیح میانگین خرید و مخرج را بنویس. سپس اگر A05 لغو شود، جمع و میانگین جدید را تعیین کن.

راه‌حل نمونه

اول: سفارش‌های پرداخت‌شده ۴ ردیف‌اند؛ ۲٬۷۵۰٬۰۰۰ / ۴ = ۶۸۷٬۵۰۰ تومان/سفارش. با لغو A05: ۲٬۷۵۰٬۰۰۰ − ۸۰۰٬۰۰۰ = ۱٬۹۵۰٬۰۰۰ تومان و ۳ سفارش، میانگین ۶۵۰٬۰۰۰ تومان/سفارش. شرط وضعیت باید در محاسبه لحاظ شود.

چالش

تمرین · 25 دقیقه

چالش، دادهٔ ساختگی: در نسخه‌ای از همین فایل، مقدار discount_toman برای A02 خالی و وضعیت A04 برابر unknown شده است. بدون حدس‌زدن تخفیف یا وضعیت، مسیر پذیرش/رد را طراحی و گزارش نهایی مشروط تهیه کن.

  • فهرست موارد ناسازگار با ردیف را بنویس؛ آن‌ها را صفر نکن.
  • تعریف کن محاسبات «معتبرِ قطعی» روی کدام ردیف‌ها انجام می‌شود و چرا.
  • دو آزمون مستقل برای کنترل مبلغ معتبر و شمارش بنویس.
  • در گزارش، عدد کل فروش شرکت را نامشخص بگذار و «جمع فقط ردیف‌های قابل‌تأیید» را جدا برچسب بزن.
راه‌حل نمونه

A02 به‌خاطر تخفیف نامعلوم و A04 به‌خاطر وضعیت نامعلوم تأیید نمی‌شوند. با فرض صحت بقیه، جمع تأییدشده فقط A01 و A05 = ۱٬۱۰۰٬۰۰۰ تومان با ۲ سفارش است؛ این فروش کل نیست و نمی‌توان با آن AOV کل را گزارش کرد. موارد حذف‌شده، دلیل و درخواست رفع نقص باید ثبت شوند.

پرسش‌های سنجش

جمع‌بندی

  • مدل برای فهم سؤال و تولید فرمول کمک می‌کند؛ عدد قطعی را در محیط محاسبه به دست بیاور.
  • تعریف شاخص، وضعیت سفارش، واحد و مخرج از خود عدد مهم‌ترند.
  • کنترل مستقل باید با بازبینی منطق کسب‌وکار و ردیف نمونه همراه باشد.
  • در خروجی نمونه: ۲٬۷۵۰٬۰۰۰ تومان، ۴ سفارش، ۶۸۷٬۵۰۰ تومان/سفارش.
  • برای مشکلات ورودی فارسی و واحدها به cleaning-persian-data، برای نمودار و شاخص به statistics-honest-charts برو.

معیار یادگیری: در ۴ سناریو از ۵ سناریوی فرضی، فرمول، واحد، مخرج و وضعیت «قابل‌تأیید/ناقص» را درست ثبت کن؛ این یک هدف تمرینی است، نه نرخ دقت مدل.

منابع پشتیبان این درس: Statistical functions (reference)src-excelstat، Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270)src-nist1270.

پرسش‌های سنجش

روش مناسب‌تر برای محاسبه جمع فروش در این درس چیست؟

  • از مدل بخواه «حدس عددی دقیق» بزند
  • از مدل فرمول بگیر و با دادهٔ ثابت در Calc اجرا و بررسی کن
  • هر عددی در متن AI آمد معتبر است
  • جمع‌زدن همه وضعیت‌ها
پاسخ نمونه و معیار ارزیابی

    برای A04 خالص مبلغ پرداخت‌شده چند تومان است؟

    • ۱٬۴۰۰٬۰۰۰
    • ۷۰۰٬۰۰۰
    • ۱٬۳۰۰٬۰۰۰
    • ۱٬۵۰۰٬۰۰۰
    پاسخ نمونه و معیار ارزیابی

      چرا میانگین بر ۶ ردیف، «میانگین سفارش پرداخت‌شده» نیست؟

      پاسخ نمونه و معیار ارزیابی

      مخرج فقط ۴ ردیف paid است؛ ۲٬۷۵۰٬۰۰۰/۴ = ۶۸۷٬۵۰۰ تومان/سفارش. سایر وضعیت‌ها باید به صورت جداگانه گزارش شوند.

      • ردیف‌های معتبر را مشخص می‌کند (1 امتیاز)
      • مخرج ۴ و عدد مرجع را می‌دهد (1 امتیاز)
      • واحد را ذکر می‌کند (1 امتیاز)

        `G` یک مقدار خالی را صفر کرده و جمع بدون خطا نمایش داده شده؛ چه کنترلی می‌گذاری؟

        discount_toman در یک ردیف paid خالی است.
        پاسخ نمونه و معیار ارزیابی

        پیش از فرمول، نبود مقدار را پرچم MISSING/خطا بزن؛ شماره ردیف و علت را گزارش کن؛ رقم کل را به‌عنوان کامل گزارش نکن.

        • مفقود را صفر فرض نمی‌کند (1 امتیاز)
        • ردیف و خطا را قابل مشاهده می‌کند (1 امتیاز)
        • از ادعای جمع کامل پرهیز می‌کند (1 امتیاز)

          دو مسیر کنترل عدد روی دادهٔ کوچک مشخص کن.

          پاسخ نمونه و معیار ارزیابی

          جمع SUM ستون مبلغ فیلترشده و SUMPRODUCT روی ردیف‌های paid؛ علاوه بر آن A01، A02، A04 و A05 را دستی نمونه‌برداری و تعریف وضعیت را بازبینی کن.

          • دو فرمول مستقل نام می‌برد (1 امتیاز)
          • شرط paid را یکسان نگه می‌دارد (1 امتیاز)
          • بازبینی منطق ردیف را می‌آورد (1 امتیاز)

            ابزارها و جایگزین‌ها

            • LibreOffice Calc (رایگان و محلی) — اجرای فرمول و بررسی جدول روی دستگاه بدون نیاز به سرویس هوش مصنوعی — صفحه‌گسترده نصب‌شدهٔ دیگر با توابع معادل — Google Sheets در صورت دسترسی قانونی — Excel موجود و مجاز
            • ویرایشگر متن — ثبت CSV نمونه، پرامپت، محاسبهٔ مرجع و گزارش کنترل — Notepad — ویرایشگر Markdown محلی — کاغذ برای نسخهٔ دستی

            منابع

            Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks Chen et al. / Transactions on Machine Learning Research (TMLR) 2023-10؛ مقالهٔ داوری‌شدهٔ TMLR؛ نتایج محدود به مجموعه‌داده‌ها، مدل‌ها و تنظیمات پژوهش

            PAL: Program-aided Language Models Gao et al. / ICML, PMLR 202 2023-07؛ مقالهٔ داوری‌شدهٔ ICML؛ نتایج بنچمارک، نه تضمین دقت در فروش

            OWASP GenAI LLM Top 10 for 2026 (LLM07 Misinformation) OWASP GenAI Security Project 2026-08-04؛ راهنمای امنیتی انجمنی منتشرشده؛ داوری مجله‌ای ندارد؛ نسخه‌دار

            Opening and Saving Text CSV Files LibreOffice Help بررسی 2026-11-07؛ راهنمای رسمی نرم‌افزار آزاد؛ غیرداوری‌شده

            Statistical functions (reference) Microsoft Support بررسی 2026-11-07؛ مرجع رسمی توابع؛ غیرداوری‌شده

            Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270) NIST 2022-03-15؛ سند فنی دولتی NIST؛ مقالهٔ داوری‌شدهٔ ژورنالی نیست

            Course

            AI Data Analysis Without Numerical Errors