Cleaning Persian Data: Letters, Digits, Jalali Dates and Rial/Toman

Normalize Persian text, digits, Jalali dates and monetary units with traceable, reversible quality controls.

بعد از این درس می‌توانی

  • در دادهٔ ۷‌ردیفی نمونه، حداقل پنج ناهنجاریِ نوعی را با ردیف و دلیل ثبت کند (C03-I04، C06-I01).
  • ارقام و نویسه‌های هم‌شکل را در ستون کمکی نرمال کند و تغییر مقدار خام را ممنوع بداند (C05-I02).
  • ریال و تومان را دقیق و یک‌دست تبدیل کند و جمع ۴ رکورد تأییدشده را ۹۰۰٬۰۰۰ تومان به دست آورد (C04-I01، C06-I01).
  • تفاوت صفر، دادهٔ مفقود، تکراری و ردیف TOTAL را در ۴ از ۵ سناریو درست توضیح دهد (C02-I03، C05-I05).

چرا این درس مهم است

موقعیت ساختگی: کارشناس فروش یک مجموعه در کرمان خروجی چند صندوق را کنار هم گذاشته است. یک صندوق «كيش» نوشته، دیگری «کیش»؛ یک فایل رقم فارسی دارد، دیگری انگلیسی؛ مبلغ بعضی ردیف‌ها ریال است و بعضی تومان. اگر همین داده بدون کنترل به مدل یا جدول محوری داده شود، جمع و دسته‌بندی ظاهراً منطقی اما غلط می‌شود.

در این درس یک نسخهٔ خام تغییری‌نکرده و یک نسخهٔ پاک‌شده و ردیابی‌پذیر می‌سازی. هیچ ردیف مشکل‌دار را بی‌سروصدا حذف یا صفر نمی‌کنی.

مفاهیم کلیدی

  • [اصل پایدار] تفاوت متن و عدد: رشتهٔ «۱۲۰۰۰۰» ممکن است به‌صورت متن وارد شود؛ پیش از جمع باید تبدیلش را بررسی کنی. تبدیل شکست‌خورده را صفر فرض نکن.
  • [اصل پایدار] نویسه‌های هم‌شکل: ي با ی و ك با ک متفاوت‌اند؛ گروه‌بندی رشته‌ای ممکن است «كيش» و «کیش» را جدا ببیند. نرمال‌سازی نباید شناسهٔ اصلی را نابود کند.
  • [اصل پایدار] ریال و تومان: در مثال، هر ۱۰ ریال = ۱ تومان. تبدیل و واحد مرجع را صریح ثبت کن؛ این یک قرارداد واحد محاسباتی است، نه نرخ ارز.
  • [اصل پایدار] تاریخ جلالی: برای مرتب‌کردن متن در یک تقویم، YYYY/MM/DD با صفرگذاری و اعتبارسنجی روز/ماه مناسب است؛ برای فاصلهٔ روز، تبدیل تقویمی معتبر لازم است. صرف قالب‌دهی، تاریخ نامعتبر را معتبر نمی‌کند.
  • [اصل پایدار] صفر در برابر فقدان: 0 یک مقدار مشاهده‌شده است؛ -، خانهٔ خالی یا N/A ممکن است به معنای نامشخص باشد.
  • [استاندارد/روش] رد تغییرات: ستون خام، ستون نرمال، علت و وضعیت هر رکورد را نگه دار؛ حذف تکراری فقط با کلید تجاری تأییدشده مجاز است.

مدل ذهنی

دادهٔ خام شبیه بار تحویل‌گرفته‌شده از چند انبار است. پیش از شمارش باید مشخص شود کارتن تکراری است، واحد کارتن و عدد یکی است، و برگهٔ «جمع کل» واقعاً کالا نیست. متن گزارش هوش مصنوعی جای کنترل رسید و شناسه را نمی‌گیرد.

ستون خامستون پردازشکنترل ضروری
citycity_normتبدیل ي/ك، فاصلهٔ اضافی و بررسی دستی نام‌های مشابه
amountamount_tomanارقام ASCII، عدد معتبر، واحد دقیق
date_jalalidate_normصفرگذاری و اعتبارسنجی تقویمی در صورت محاسبه فاصله
idrecord_statusشناسه یکتا، تکرار/جمع کل/مقدار ناموجود

گام‌به‌گام

گام ۱: نمونهٔ عمداً آلوده را وارد کن

id,city,date_jalali,amount,unit
T01,تهران,1405/2/9,۱۲۰۰۰۰,تومان
T02,تهران,1405/02/10,۸۰۰۰۰۰,ریال
T03,كيش,۱۴۰۵/۰۲/۱۱,3500000,ریال
T03,كيش,۱۴۰۵/۰۲/۱۱,3500000,ریال
T04,کیش,1405/02/12,۳۵۰۰۰۰,تومان
T05,مشهد,1405/2/13,-,تومان
TOTAL,جمع کل,,900000,تومان

هفت ردیف دادهٔ ساختگی شامل یک TOTAL، یک تراکنش تکراری و یک مبلغ نامعلوم است. فایل را با UTF-8 نگه دار و هنگام ورود CSV ستون‌های شناسه، تاریخ و متن فارسی را متن قرار بده تا تبدیل خودکار، مقدار اولیه را عوض نکندsrc-calc-csv.

گام ۲: پیش از هر اصلاح، صورت‌وضعیت بنویس

موردردیفاقدام مجاز
نویسه عربی كيشT03 و تکرار آننرمال‌سازی نسخهٔ تحلیل به «کیش»
تاریخ بدون صفرT01 و T05به شکل 1405/02/09 و 1405/02/13 در ستون جدا
ارقام فارسیT01، T02، T04تبدیل به عدد؛ خام حفظ شود
واحد ریالT02 و T03تقسیم عدد ریالی بر ۱۰ برای تومان
شناسه تکراریدومین T03نشانه‌گذاری و بررسی؛ فقط رکورد یکسان را کنار بگذار
مبلغ -T05MISSING، نه صفر
ردیف مجموعTOTALفقط برای آشتی‌دادن؛ وارد جمع تراکنش‌ها نشود

گام ۳: ترتیب پاک‌سازی را رعایت کن

  1. از فایل خام یک کپی قابل بازگشت بساز.
  2. واحد هر رکورد را از ستون unit بخوان و واحد ناآشنا را خطا بزن.
  3. نویسه‌ها و ارقام را در ستون کمکی استاندارد کن؛ مقدار تبدیل‌ناپذیر را MISSING نگه دار.
  4. تاریخ را به ۴ رقم سال، ۲ رقم ماه، ۲ رقم روز و قالب YYYY/MM/DD تبدیل کن؛ در دادهٔ واقعی روز معتبر را با کتابخانهٔ تقویم جلالی یا آزمون مستقل بسنج.
  5. شناسه‌های تکراری و TOTAL را جدا کن؛ فقط پس از تأیید سیاست تکراری، آن را از محاسبه حذف کن.
  6. جمع خالص ردیف‌های معتبر را با مقدار TOTAL فقط مقایسه کن؛ TOTAL را دوباره جمع نزن.

گام ۴: فرمول سادهٔ نرمال‌سازی نویسه و ریال/تومان

=SUBSTITUTE(SUBSTITUTE(TRIM(B2),"ي","ی"),"ك","ک")
=IF(E2="ریال",VALUE(D2)/10,IF(E2="تومان",VALUE(D2),NA()))

این فرمول‌ها نمونهٔ مفهومی هستند: VALUE بسته به Locale ممکن است ارقام فارسی را تبدیل نکند؛ در صورت شکست باید ابتدا ارقام را به 0 تا 9 تبدیل کنی، نه اینکه به‌زور خطا را خاموش کنی. برای تاریخ، یک فرمول سادهٔ «متنی» کافی نیست وقتی محاسبهٔ اختلاف روز داری.

گام ۵: محاسبهٔ مرجع پس از رفع خطا

شناسهٔ یکتامبلغ تومانوضعیت
T01۱۲۰٬۰۰۰معتبر
T02۸۰٬۰۰۰معتبر؛ ۸۰۰٬۰۰۰ ریال
T03۳۵۰٬۰۰۰معتبر؛ ۳٬۵۰۰٬۰۰۰ ریال
T04۳۵۰٬۰۰۰معتبر
T05نامشخصحذف از جمع تأییدشده، نه صفر
دومین T03—تکراری عیناً مطابق؛ خارج از محاسبه
TOTAL۹۰۰٬۰۰۰ردیف کنترلی؛ خارج از محاسبه

جمع ردیف‌های کامل و یکتای تأییدشده = `۹۰۰٬۰۰۰ تومان`. این عدد فقط برای ۴ رکورد معتبر است؛ «جمع همهٔ تراکنش‌های دوره» نامشخص است، چون T05 مبلغ ندارد. نسبت‌دادن عدد ۹۰۰٬۰۰۰ به کل داده بدون این قید، گمراه‌کننده است.

مثال‌ها

این CSV ساختگی را فقط ممیزی کن؛ از روی حدس داده را تصحیح نکن.
خروجی مرحله اول: برای هر ردیف، شماره سطر/شناسه، مشکل، مقدار خام، مقدار پیشنهادی، دلیل، وضعیت تأیید.
نویسه‌های ي/ی و ك/ک، ارقام فارسی، تاریخ جلالی، ریال/تومان، ردیف TOTAL، تکرار id و MISSING را جدا بررسی کن.
قانون: ردیف مبلغ نامعلوم صفر نیست؛ حذف تکرار فقط پس از بررسی یکسان‌بودن رکوردها.
تا وقتی جدول ناهنجاری‌ها را نداده‌ای، هیچ رقم «کل فروش» تولید نکن.
مرحله دوم بعد از تأیید انسان: دستور قطعی پاک‌سازی و جمع فقط ردیف‌های معتبر؛ اعداد را در موتور محاسبه اجرا می‌کنیم.

مدل می‌تواند روش یا کد پیشنهاد دهد؛ تطبیق خودکار نام مکان یا تاریخ شمسی بدون کنترل مرجع معتبر «قطعی» نیست.

پیاده‌سازی عملی

مسیر رایگان محلی: در LibreOffice Calc ستون‌های جدید city_norm، date_norm، amount_toman، record_status و fix_reason بساز. اول فقط کشف مشکلات، سپس اصلاح روی کپی. شناسه و مقدار اصلی را نگه دار. خروجی سه گروه بده: VALID، EXCLUDED_DUPLICATE_OR_TOTAL و MISSING_OR_REVIEW.

مسیر اختیاری کدنویسی: این نمونهٔ کوچک فقط نشان می‌دهد تبدیل نویسه و رقم چگونه عمل می‌کند؛ اجرای آن اجباری نیست و اعتبار تاریخ جلالی را بررسی نمی‌کند.

digit_map = str.maketrans("۰۱۲۳۴۵۶۷۸۹٠١٢٣٤٥٦٧٨٩", "01234567890123456789")
def norm_text(s):
    return str(s).translate(digit_map).replace("ي", "ی").replace("ك", "ک").strip()
def as_toman(amount, unit):
    raw = norm_text(amount).replace(",", "").replace("٬", "")
    if raw in ("", "-", "N/A"):
        return None   # نبود داده، نه صفر
    from decimal import Decimal
    number = Decimal(raw)
    if norm_text(unit) == "ریال":
        return number / 10
    if norm_text(unit) == "تومان":
        return number
    raise ValueError(f"واحد نامعتبر: {unit}")
print(norm_text("كيش"), as_toman("۸۰۰۰۰۰", "ریال"))  # کیش 80000

کنترل اجرا: نام شهرهای متفاوت را صرفاً با تشابه نوشتاری یکی نکن. اگر دو شناسهٔ یکسان مبالغ متفاوت داشتند، هر دو را تا روشن‌شدن واقعیت در وضعیت REVIEW نگه دار. خروجی مرجع چهار ردیف کامل: ۹۰۰٬۰۰۰ تومان.

سند تحویلملاک پذیرش
کپی خامبایت/مقادیر خام قابل بازیابی
جدول مشکلاتT03 تکراری، T05 مفقود، TOTAL و واحدها ثبت شده
نسخهٔ پاک‌شده۴ رکورد معتبر با واحد تومان
گزارشجمع تأییدشده ۹۰۰٬۰۰۰ و «جمع کل نامشخص»

اشتباه‌های رایج

اشتباهپیامدراه اصلاح
VALUE را جادویی فرض کردنتبدیل رقم با Locale مختلف شکست می‌خوردآزمون چند مقدار و تبدیل رقم آشکار
تاریخ جلالی را میلادی فرض کردنفاصلهٔ روز و ماه اشتباهرشتهٔ جلالی را جدا نگه دار، تبدیل تقویم فقط با ابزار معتبر
جمع ریال و تومانده‌برابرشدن یا یک‌دهم‌شدن مبلغواحد ردیفی، خروجی تومان
حذف هر id تکراریدو تراکنش حقیقی ممکن است شناسه مشترک داشته باشندتطبیق کل ردیف و سیاست شناسه مرجع
- = صفرپنهان‌شدن دادهٔ گمشدهوضعیت MISSING و توقف آمار کامل

عیب‌یابی

«کیش» دو بار در جدول محوری ظاهر می‌شود.

دو نویسهٔ ي/ی یا ك/ک در رشته‌ها فرق دارند.

نمایش کدهای یونی‌کد یا مقایسه خام با ستون نرمال را بررسی کن.

نویسه‌ها را در ستون کمکی نرمال کن و خام را حفظ کن.

جمع ۱٬۸۰۰٬۰۰۰ یا ۱٬۲۵۰٬۰۰۰ شده است.

سطر TOTAL یا تکراری T03 وارد جمع شده است.

شناسه‌های ردیف در دامنه SUM و نشانهٔ رکورد را بررسی کن.

TOTAL و تکراری تأییدشده را از محاسبه تراکنش جدا کن.

عدد T02 برابر ۸۰۰٬۰۰۰ تومان شده است.

واحد ریال تبدیل نشده است.

ستون E و فرمول تبدیل را بازبینی کن.

۸۰۰٬۰۰۰ ریال = ۸۰٬۰۰۰ تومان؛ بعد گزارش را بازتولید کن.

تاریخ ۱۴۰۵/۱۰ قبل از ۱۴۰۵/۲ مرتب شده.

قالب ماه و روز یکسان نیست.

متن YYYY/MM/DD را با صفرگذاری مقایسه کن.

فقط رشتهٔ تاریخ با قالب معتبر را مرتب کن؛ فاصله زمانی نیازمند تبدیل تقویم است.

ایمنی و حریم خصوصی

تمرین کوتاه

تمرین · 9 دقیقه

موقعیت ساختگی: T02 = ۸۰۰٬۰۰۰ ریال، T03 = ۳٬۵۰۰٬۰۰۰ ریال و T05 = «-» تومان. دو عدد اول را به تومان تبدیل کن و توضیح بده آیا T05 صفر است. سپس علت دو گروه برای نام «كيش» و «کیش» را بگو.

راه‌حل نمونه

T02 = ۸۰٬۰۰۰ تومان، T03 = ۳۵۰٬۰۰۰ تومان. T05 فاقد مقدار است و صفر فرض نمی‌شود. «كيش» از نویسه‌های عربی ك/ي استفاده می‌کند؛ در ستون تحلیل به «کیش» نرمال می‌شود، درحالی‌که خام حفظ می‌شود.

چالش

تمرین · 25 دقیقه

چالش دادهٔ ساختگی: فرض کن دومین T03 با همان شناسه اما مبلغ ۳٬۶۰۰٬۰۰۰ ریال آمده است. آیا یکی از دو ردیف را خودکار حذف می‌کنی؟ مراحل ایمن برای تصمیم‌گیری و گزارش را بنویس.

  • نخست هر دو ردیف T03 را DUPLICATE_CONFLICT علامت بزن.
  • مبلغ‌ها، تاریخ‌ها و منشأ را با مسئول ثبت بررسی کن.
  • تا روشن‌شدن علت، هیچ‌یک را به‌صورت دلخواه برنده اعلام نکن.
  • جمع قطعیِ بی‌ابهام T01+T02+T04 را به طور جداگانه ارائه کن.
راه‌حل نمونه

با تعارض مبلغ، حذف خودکار یکی از دو ردیف مجاز نیست. مجموع رکوردهای بدون تعارض T01+T02+T04 برابر ۵۵۰٬۰۰۰ تومان است؛ T05 هم مفقود باقی می‌ماند. جمع کل صحیح داده به رفع دو ابهام نیاز دارد.

پرسش‌های سنجش

جمع‌بندی

  • واحد هر ردیف قبل از جمع روشن شود؛ ریال را در این مثال با تقسیم بر ۱۰ به تومان تبدیل کن.
  • ارقام و نویسه‌ها را در کپی پاک کن؛ ستون خام باید قابل بازبینی باشد.
  • تاریخ جلالیِ صفرگذاری‌شده برای مرتب‌سازی متنی مناسب است، نه برای محاسبهٔ خودکار فاصلهٔ روز.
  • تکرار، ردیف جمع و دادهٔ مفقود سه وضعیت متفاوت‌اند و نباید یکی شوند.
  • جمع چهار رکورد معتبر مثال ۹۰۰٬۰۰۰ تومان است؛ جمع همهٔ داده‌ها نامشخص است.

مسیر بعدی: پس از پاک‌سازی، برای فرمول و کنترل عدد به ai-math-formulas و برای انتخاب شاخص و نمودار به statistics-honest-charts مراجعه کن.

منابع پشتیبان این درس: Getting Started Guide 26.2 — Getting Started with Calcsrc-calc-guide، Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270)src-nist1270، Statistical functions (reference)src-excelstat.

پرسش‌های سنجش

کدام رفتار با مقدار `-` در ستون مبلغ درست است؟

  • صفر وارد شود تا جمع کار کند
  • همیشه میانگین ردیف‌ها جایگزین شود
  • به‌عنوان مقدار مفقود علامت‌گذاری و از ادعای کل قطعی خودداری شود
  • سطر بدون ثبت دلیل حذف شود
پاسخ نمونه و معیار ارزیابی

    ۸۰۰٬۰۰۰ ریال در مثال چند تومان است؟

    • ۸۰٬۰۰۰
    • ۸۰۰٬۰۰۰
    • ۸٬۰۰۰٬۰۰۰
    • ۸٬۰۰۰
    پاسخ نمونه و معیار ارزیابی

      چرا ردیف `TOTAL` نباید به جمع تراکنش‌ها افزوده شود؟

      پاسخ نمونه و معیار ارزیابی

      زیرا خود یک رقم تجمیعی است؛ جمع دوباره می‌تواند مجموع را دو بار بشمارد. باید فقط برای کنترل با حاصل ردیف‌های تراکنشی مقایسه شود.

      • نقش کنترلی TOTAL را می‌گوید (1 امتیاز)
      • دوباره‌شماری را تشخیص می‌دهد (1 امتیاز)
      • راه کنترل را بیان می‌کند (1 امتیاز)

        شناسه T03 دو بار ثبت شده، ولی مبلغ بار دوم متفاوت است؛ سیاست چیست؟

        T03,3500000,ریال
        T03,3600000,ریال
        پاسخ نمونه و معیار ارزیابی

        هر دو در DUPLICATE_CONFLICT بمانند، منبع اصلی بررسی شود و تا حل تعارض حذف دلخواه انجام نشود.

        • تعریف تعارض را تشخیص می‌دهد (1 امتیاز)
        • از حذف خودکار جلوگیری می‌کند (1 امتیاز)
        • گزارش موقت مشروط می‌دهد (1 امتیاز)

          برای واردکردن دادهٔ جلالی و ی/ک عربی چهار ستون کمکی پیشنهاد بده.

          پاسخ نمونه و معیار ارزیابی

          city_norm، date_norm، amount_toman، record_status به‌همراه نگهداری خام و fix_reason.

          • نویسه و تاریخ را جدا می‌کند (1 امتیاز)
          • واحد تومان را جدا می‌کند (1 امتیاز)
          • وضعیت خطا/رد تغییر را ثبت می‌کند (1 امتیاز)

            ابزارها و جایگزین‌ها

            • LibreOffice Calc (رایگان و محلی) — اجرای فرمول و بررسی جدول روی دستگاه بدون نیاز به سرویس هوش مصنوعی — صفحه‌گسترده نصب‌شدهٔ دیگر با توابع معادل — Google Sheets در صورت دسترسی قانونی — Excel موجود و مجاز
            • ویرایشگر متن — ثبت CSV نمونه، پرامپت، محاسبهٔ مرجع و گزارش کنترل — Notepad — ویرایشگر Markdown محلی — کاغذ برای نسخهٔ دستی

            منابع

            Opening and Saving Text CSV Files LibreOffice Help بررسی 2026-11-07؛ راهنمای رسمی نرم‌افزار آزاد؛ غیرداوری‌شده

            Getting Started Guide 26.2 — Getting Started with Calc The Document Foundation / LibreOffice 2026؛ مستند رسمی نرم‌افزار؛ غیرداوری‌شده

            Split text, remove duplicates, or trim whitespace Google Docs Editors Help بررسی 2026-11-07؛ مستند رسمی محصول؛ تغییرپذیر و غیرداوری‌شده

            Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270) NIST 2022-03-15؛ سند فنی دولتی NIST؛ مقالهٔ داوری‌شدهٔ ژورنالی نیست

            Statistical functions (reference) Microsoft Support بررسی 2026-11-07؛ مرجع رسمی توابع؛ غیرداوری‌شده

            Course

            AI Data Analysis Without Numerical Errors