پاکسازی دادهٔ فارسی: ی/ک، ارقام، تاریخ شمسی و ریال/تومان
دادهٔ آلودهٔ فارسی را بدون حذف پنهان، با حفظ نسخهٔ خام و ثبت تغییرات به جدولی قابل بررسی تبدیل کن.
بعد از این درس میتوانی
- در دادهٔ ۷ردیفی نمونه، حداقل پنج ناهنجاریِ نوعی را با ردیف و دلیل ثبت کند (
C03-I04،C06-I01). - ارقام و نویسههای همشکل را در ستون کمکی نرمال کند و تغییر مقدار خام را ممنوع بداند (
C05-I02). - ریال و تومان را دقیق و یکدست تبدیل کند و جمع ۴ رکورد تأییدشده را
۹۰۰٬۰۰۰ تومانبه دست آورد (C04-I01،C06-I01). - تفاوت صفر، دادهٔ مفقود، تکراری و ردیف
TOTALرا در ۴ از ۵ سناریو درست توضیح دهد (C02-I03،C05-I05).
چرا این درس مهم است
موقعیت ساختگی: کارشناس فروش یک مجموعه در کرمان خروجی چند صندوق را کنار هم گذاشته است. یک صندوق «كيش» نوشته، دیگری «کیش»؛ یک فایل رقم فارسی دارد، دیگری انگلیسی؛ مبلغ بعضی ردیفها ریال است و بعضی تومان. اگر همین داده بدون کنترل به مدل یا جدول محوری داده شود، جمع و دستهبندی ظاهراً منطقی اما غلط میشود.
در این درس یک نسخهٔ خام تغییرینکرده و یک نسخهٔ پاکشده و ردیابیپذیر میسازی. هیچ ردیف مشکلدار را بیسروصدا حذف یا صفر نمیکنی.
مفاهیم کلیدی
- [اصل پایدار] تفاوت متن و عدد: رشتهٔ «۱۲۰۰۰۰» ممکن است بهصورت متن وارد شود؛ پیش از جمع باید تبدیلش را بررسی کنی. تبدیل شکستخورده را صفر فرض نکن.
- [اصل پایدار] نویسههای همشکل:
يبایوكباکمتفاوتاند؛ گروهبندی رشتهای ممکن است «كيش» و «کیش» را جدا ببیند. نرمالسازی نباید شناسهٔ اصلی را نابود کند. - [اصل پایدار] ریال و تومان: در مثال، هر
۱۰ ریال = ۱ تومان. تبدیل و واحد مرجع را صریح ثبت کن؛ این یک قرارداد واحد محاسباتی است، نه نرخ ارز. - [اصل پایدار] تاریخ جلالی: برای مرتبکردن متن در یک تقویم،
YYYY/MM/DDبا صفرگذاری و اعتبارسنجی روز/ماه مناسب است؛ برای فاصلهٔ روز، تبدیل تقویمی معتبر لازم است. صرف قالبدهی، تاریخ نامعتبر را معتبر نمیکند. - [اصل پایدار] صفر در برابر فقدان:
0یک مقدار مشاهدهشده است؛-، خانهٔ خالی یاN/Aممکن است به معنای نامشخص باشد. - [استاندارد/روش] رد تغییرات: ستون خام، ستون نرمال، علت و وضعیت هر رکورد را نگه دار؛ حذف تکراری فقط با کلید تجاری تأییدشده مجاز است.
مدل ذهنی
دادهٔ خام شبیه بار تحویلگرفتهشده از چند انبار است. پیش از شمارش باید مشخص شود کارتن تکراری است، واحد کارتن و عدد یکی است، و برگهٔ «جمع کل» واقعاً کالا نیست. متن گزارش هوش مصنوعی جای کنترل رسید و شناسه را نمیگیرد.
| ستون خام | ستون پردازش | کنترل ضروری |
|---|---|---|
city | city_norm | تبدیل ي/ك، فاصلهٔ اضافی و بررسی دستی نامهای مشابه |
amount | amount_toman | ارقام ASCII، عدد معتبر، واحد دقیق |
date_jalali | date_norm | صفرگذاری و اعتبارسنجی تقویمی در صورت محاسبه فاصله |
id | record_status | شناسه یکتا، تکرار/جمع کل/مقدار ناموجود |
گامبهگام
گام ۱: نمونهٔ عمداً آلوده را وارد کن
id,city,date_jalali,amount,unit
T01,تهران,1405/2/9,۱۲۰۰۰۰,تومان
T02,تهران,1405/02/10,۸۰۰۰۰۰,ریال
T03,كيش,۱۴۰۵/۰۲/۱۱,3500000,ریال
T03,كيش,۱۴۰۵/۰۲/۱۱,3500000,ریال
T04,کیش,1405/02/12,۳۵۰۰۰۰,تومان
T05,مشهد,1405/2/13,-,تومان
TOTAL,جمع کل,,900000,تومانهفت ردیف دادهٔ ساختگی شامل یک TOTAL، یک تراکنش تکراری و یک مبلغ نامعلوم است. فایل را با UTF-8 نگه دار و هنگام ورود CSV ستونهای شناسه، تاریخ و متن فارسی را متن قرار بده تا تبدیل خودکار، مقدار اولیه را عوض نکندsrc-calc-csv.
گام ۲: پیش از هر اصلاح، صورتوضعیت بنویس
| مورد | ردیف | اقدام مجاز |
|---|---|---|
نویسه عربی كيش | T03 و تکرار آن | نرمالسازی نسخهٔ تحلیل به «کیش» |
| تاریخ بدون صفر | T01 و T05 | به شکل 1405/02/09 و 1405/02/13 در ستون جدا |
| ارقام فارسی | T01، T02، T04 | تبدیل به عدد؛ خام حفظ شود |
| واحد ریال | T02 و T03 | تقسیم عدد ریالی بر ۱۰ برای تومان |
| شناسه تکراری | دومین T03 | نشانهگذاری و بررسی؛ فقط رکورد یکسان را کنار بگذار |
مبلغ - | T05 | MISSING، نه صفر |
| ردیف مجموع | TOTAL | فقط برای آشتیدادن؛ وارد جمع تراکنشها نشود |
گام ۳: ترتیب پاکسازی را رعایت کن
- از فایل خام یک کپی قابل بازگشت بساز.
- واحد هر رکورد را از ستون
unitبخوان و واحد ناآشنا را خطا بزن. - نویسهها و ارقام را در ستون کمکی استاندارد کن؛ مقدار تبدیلناپذیر را
MISSINGنگه دار. - تاریخ را به ۴ رقم سال، ۲ رقم ماه، ۲ رقم روز و قالب
YYYY/MM/DDتبدیل کن؛ در دادهٔ واقعی روز معتبر را با کتابخانهٔ تقویم جلالی یا آزمون مستقل بسنج. - شناسههای تکراری و
TOTALرا جدا کن؛ فقط پس از تأیید سیاست تکراری، آن را از محاسبه حذف کن. - جمع خالص ردیفهای معتبر را با مقدار
TOTALفقط مقایسه کن؛TOTALرا دوباره جمع نزن.
گام ۴: فرمول سادهٔ نرمالسازی نویسه و ریال/تومان
=SUBSTITUTE(SUBSTITUTE(TRIM(B2),"ي","ی"),"ك","ک")
=IF(E2="ریال",VALUE(D2)/10,IF(E2="تومان",VALUE(D2),NA()))این فرمولها نمونهٔ مفهومی هستند: VALUE بسته به Locale ممکن است ارقام فارسی را تبدیل نکند؛ در صورت شکست باید ابتدا ارقام را به 0 تا 9 تبدیل کنی، نه اینکه بهزور خطا را خاموش کنی. برای تاریخ، یک فرمول سادهٔ «متنی» کافی نیست وقتی محاسبهٔ اختلاف روز داری.
گام ۵: محاسبهٔ مرجع پس از رفع خطا
| شناسهٔ یکتا | مبلغ تومان | وضعیت |
|---|---|---|
| T01 | ۱۲۰٬۰۰۰ | معتبر |
| T02 | ۸۰٬۰۰۰ | معتبر؛ ۸۰۰٬۰۰۰ ریال |
| T03 | ۳۵۰٬۰۰۰ | معتبر؛ ۳٬۵۰۰٬۰۰۰ ریال |
| T04 | ۳۵۰٬۰۰۰ | معتبر |
| T05 | نامشخص | حذف از جمع تأییدشده، نه صفر |
| دومین T03 | — | تکراری عیناً مطابق؛ خارج از محاسبه |
| TOTAL | ۹۰۰٬۰۰۰ | ردیف کنترلی؛ خارج از محاسبه |
جمع ردیفهای کامل و یکتای تأییدشده = `۹۰۰٬۰۰۰ تومان`. این عدد فقط برای ۴ رکورد معتبر است؛ «جمع همهٔ تراکنشهای دوره» نامشخص است، چون T05 مبلغ ندارد. نسبتدادن عدد ۹۰۰٬۰۰۰ به کل داده بدون این قید، گمراهکننده است.
مثالها
این CSV ساختگی را فقط ممیزی کن؛ از روی حدس داده را تصحیح نکن.
خروجی مرحله اول: برای هر ردیف، شماره سطر/شناسه، مشکل، مقدار خام، مقدار پیشنهادی، دلیل، وضعیت تأیید.
نویسههای ي/ی و ك/ک، ارقام فارسی، تاریخ جلالی، ریال/تومان، ردیف TOTAL، تکرار id و MISSING را جدا بررسی کن.
قانون: ردیف مبلغ نامعلوم صفر نیست؛ حذف تکرار فقط پس از بررسی یکسانبودن رکوردها.
تا وقتی جدول ناهنجاریها را ندادهای، هیچ رقم «کل فروش» تولید نکن.
مرحله دوم بعد از تأیید انسان: دستور قطعی پاکسازی و جمع فقط ردیفهای معتبر؛ اعداد را در موتور محاسبه اجرا میکنیم.مدل میتواند روش یا کد پیشنهاد دهد؛ تطبیق خودکار نام مکان یا تاریخ شمسی بدون کنترل مرجع معتبر «قطعی» نیست.
پیادهسازی عملی
مسیر رایگان محلی: در LibreOffice Calc ستونهای جدید city_norm، date_norm، amount_toman، record_status و fix_reason بساز. اول فقط کشف مشکلات، سپس اصلاح روی کپی. شناسه و مقدار اصلی را نگه دار. خروجی سه گروه بده: VALID، EXCLUDED_DUPLICATE_OR_TOTAL و MISSING_OR_REVIEW.
مسیر اختیاری کدنویسی: این نمونهٔ کوچک فقط نشان میدهد تبدیل نویسه و رقم چگونه عمل میکند؛ اجرای آن اجباری نیست و اعتبار تاریخ جلالی را بررسی نمیکند.
digit_map = str.maketrans("۰۱۲۳۴۵۶۷۸۹٠١٢٣٤٥٦٧٨٩", "01234567890123456789")
def norm_text(s):
return str(s).translate(digit_map).replace("ي", "ی").replace("ك", "ک").strip()
def as_toman(amount, unit):
raw = norm_text(amount).replace(",", "").replace("٬", "")
if raw in ("", "-", "N/A"):
return None # نبود داده، نه صفر
from decimal import Decimal
number = Decimal(raw)
if norm_text(unit) == "ریال":
return number / 10
if norm_text(unit) == "تومان":
return number
raise ValueError(f"واحد نامعتبر: {unit}")
print(norm_text("كيش"), as_toman("۸۰۰۰۰۰", "ریال")) # کیش 80000کنترل اجرا: نام شهرهای متفاوت را صرفاً با تشابه نوشتاری یکی نکن. اگر دو شناسهٔ یکسان مبالغ متفاوت داشتند، هر دو را تا روشنشدن واقعیت در وضعیت REVIEW نگه دار. خروجی مرجع چهار ردیف کامل: ۹۰۰٬۰۰۰ تومان.
| سند تحویل | ملاک پذیرش |
|---|---|
| کپی خام | بایت/مقادیر خام قابل بازیابی |
| جدول مشکلات | T03 تکراری، T05 مفقود، TOTAL و واحدها ثبت شده |
| نسخهٔ پاکشده | ۴ رکورد معتبر با واحد تومان |
| گزارش | جمع تأییدشده ۹۰۰٬۰۰۰ و «جمع کل نامشخص» |
اشتباههای رایج
| اشتباه | پیامد | راه اصلاح |
|---|---|---|
VALUE را جادویی فرض کردن | تبدیل رقم با Locale مختلف شکست میخورد | آزمون چند مقدار و تبدیل رقم آشکار |
| تاریخ جلالی را میلادی فرض کردن | فاصلهٔ روز و ماه اشتباه | رشتهٔ جلالی را جدا نگه دار، تبدیل تقویم فقط با ابزار معتبر |
| جمع ریال و تومان | دهبرابرشدن یا یکدهمشدن مبلغ | واحد ردیفی، خروجی تومان |
حذف هر id تکراری | دو تراکنش حقیقی ممکن است شناسه مشترک داشته باشند | تطبیق کل ردیف و سیاست شناسه مرجع |
- = صفر | پنهانشدن دادهٔ گمشده | وضعیت MISSING و توقف آمار کامل |
عیبیابی
«کیش» دو بار در جدول محوری ظاهر میشود.
دو نویسهٔ ي/ی یا ك/ک در رشتهها فرق دارند.
نمایش کدهای یونیکد یا مقایسه خام با ستون نرمال را بررسی کن.
نویسهها را در ستون کمکی نرمال کن و خام را حفظ کن.
جمع ۱٬۸۰۰٬۰۰۰ یا ۱٬۲۵۰٬۰۰۰ شده است.
سطر TOTAL یا تکراری T03 وارد جمع شده است.
شناسههای ردیف در دامنه SUM و نشانهٔ رکورد را بررسی کن.
TOTAL و تکراری تأییدشده را از محاسبه تراکنش جدا کن.
عدد T02 برابر ۸۰۰٬۰۰۰ تومان شده است.
واحد ریال تبدیل نشده است.
ستون E و فرمول تبدیل را بازبینی کن.
۸۰۰٬۰۰۰ ریال = ۸۰٬۰۰۰ تومان؛ بعد گزارش را بازتولید کن.
تاریخ ۱۴۰۵/۱۰ قبل از ۱۴۰۵/۲ مرتب شده.
قالب ماه و روز یکسان نیست.
متن YYYY/MM/DD را با صفرگذاری مقایسه کن.
فقط رشتهٔ تاریخ با قالب معتبر را مرتب کن؛ فاصله زمانی نیازمند تبدیل تقویم است.
ایمنی و حریم خصوصی
تمرین کوتاه
تمرین · 9 دقیقه
موقعیت ساختگی: T02 = ۸۰۰٬۰۰۰ ریال، T03 = ۳٬۵۰۰٬۰۰۰ ریال و T05 = «-» تومان. دو عدد اول را به تومان تبدیل کن و توضیح بده آیا T05 صفر است. سپس علت دو گروه برای نام «كيش» و «کیش» را بگو.
راهحل نمونه
T02 = ۸۰٬۰۰۰ تومان، T03 = ۳۵۰٬۰۰۰ تومان. T05 فاقد مقدار است و صفر فرض نمیشود. «كيش» از نویسههای عربی ك/ي استفاده میکند؛ در ستون تحلیل به «کیش» نرمال میشود، درحالیکه خام حفظ میشود.
چالش
تمرین · 25 دقیقه
چالش دادهٔ ساختگی: فرض کن دومین T03 با همان شناسه اما مبلغ ۳٬۶۰۰٬۰۰۰ ریال آمده است. آیا یکی از دو ردیف را خودکار حذف میکنی؟ مراحل ایمن برای تصمیمگیری و گزارش را بنویس.
- نخست هر دو ردیف T03 را
DUPLICATE_CONFLICTعلامت بزن. - مبلغها، تاریخها و منشأ را با مسئول ثبت بررسی کن.
- تا روشنشدن علت، هیچیک را بهصورت دلخواه برنده اعلام نکن.
- جمع قطعیِ بیابهام T01+T02+T04 را به طور جداگانه ارائه کن.
راهحل نمونه
با تعارض مبلغ، حذف خودکار یکی از دو ردیف مجاز نیست. مجموع رکوردهای بدون تعارض T01+T02+T04 برابر ۵۵۰٬۰۰۰ تومان است؛ T05 هم مفقود باقی میماند. جمع کل صحیح داده به رفع دو ابهام نیاز دارد.
پرسشهای سنجش
جمعبندی
- واحد هر ردیف قبل از جمع روشن شود؛ ریال را در این مثال با تقسیم بر ۱۰ به تومان تبدیل کن.
- ارقام و نویسهها را در کپی پاک کن؛ ستون خام باید قابل بازبینی باشد.
- تاریخ جلالیِ صفرگذاریشده برای مرتبسازی متنی مناسب است، نه برای محاسبهٔ خودکار فاصلهٔ روز.
- تکرار، ردیف جمع و دادهٔ مفقود سه وضعیت متفاوتاند و نباید یکی شوند.
- جمع چهار رکورد معتبر مثال
۹۰۰٬۰۰۰ توماناست؛ جمع همهٔ دادهها نامشخص است.
مسیر بعدی: پس از پاکسازی، برای فرمول و کنترل عدد به ai-math-formulas و برای انتخاب شاخص و نمودار به statistics-honest-charts مراجعه کن.
منابع پشتیبان این درس: Getting Started Guide 26.2 — Getting Started with Calcsrc-calc-guide، Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270)src-nist1270، Statistical functions (reference)src-excelstat.
پرسشهای سنجش
کدام رفتار با مقدار `-` در ستون مبلغ درست است؟
- صفر وارد شود تا جمع کار کند
- همیشه میانگین ردیفها جایگزین شود
- بهعنوان مقدار مفقود علامتگذاری و از ادعای کل قطعی خودداری شود
- سطر بدون ثبت دلیل حذف شود
پاسخ نمونه و معیار ارزیابی
۸۰۰٬۰۰۰ ریال در مثال چند تومان است؟
- ۸۰٬۰۰۰
- ۸۰۰٬۰۰۰
- ۸٬۰۰۰٬۰۰۰
- ۸٬۰۰۰
پاسخ نمونه و معیار ارزیابی
چرا ردیف `TOTAL` نباید به جمع تراکنشها افزوده شود؟
پاسخ نمونه و معیار ارزیابی
زیرا خود یک رقم تجمیعی است؛ جمع دوباره میتواند مجموع را دو بار بشمارد. باید فقط برای کنترل با حاصل ردیفهای تراکنشی مقایسه شود.
- نقش کنترلی TOTAL را میگوید (1 امتیاز)
- دوبارهشماری را تشخیص میدهد (1 امتیاز)
- راه کنترل را بیان میکند (1 امتیاز)
شناسه T03 دو بار ثبت شده، ولی مبلغ بار دوم متفاوت است؛ سیاست چیست؟
T03,3500000,ریال T03,3600000,ریال
پاسخ نمونه و معیار ارزیابی
هر دو در DUPLICATE_CONFLICT بمانند، منبع اصلی بررسی شود و تا حل تعارض حذف دلخواه انجام نشود.
- تعریف تعارض را تشخیص میدهد (1 امتیاز)
- از حذف خودکار جلوگیری میکند (1 امتیاز)
- گزارش موقت مشروط میدهد (1 امتیاز)
برای واردکردن دادهٔ جلالی و ی/ک عربی چهار ستون کمکی پیشنهاد بده.
پاسخ نمونه و معیار ارزیابی
city_norm، date_norm، amount_toman، record_status بههمراه نگهداری خام و fix_reason.
- نویسه و تاریخ را جدا میکند (1 امتیاز)
- واحد تومان را جدا میکند (1 امتیاز)
- وضعیت خطا/رد تغییر را ثبت میکند (1 امتیاز)
ابزارها و جایگزینها
- LibreOffice Calc (رایگان و محلی) — اجرای فرمول و بررسی جدول روی دستگاه بدون نیاز به سرویس هوش مصنوعی — صفحهگسترده نصبشدهٔ دیگر با توابع معادل — Google Sheets در صورت دسترسی قانونی — Excel موجود و مجاز
- ویرایشگر متن — ثبت CSV نمونه، پرامپت، محاسبهٔ مرجع و گزارش کنترل — Notepad — ویرایشگر Markdown محلی — کاغذ برای نسخهٔ دستی
منابع
Opening and Saving Text CSV Files LibreOffice Help بررسی 2026-11-07؛ راهنمای رسمی نرمافزار آزاد؛ غیرداوریشده
Getting Started Guide 26.2 — Getting Started with Calc The Document Foundation / LibreOffice 2026؛ مستند رسمی نرمافزار؛ غیرداوریشده
Split text, remove duplicates, or trim whitespace Google Docs Editors Help بررسی 2026-11-07؛ مستند رسمی محصول؛ تغییرپذیر و غیرداوریشده
Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270) NIST 2022-03-15؛ سند فنی دولتی NIST؛ مقالهٔ داوریشدهٔ ژورنالی نیست
Statistical functions (reference) Microsoft Support بررسی 2026-11-07؛ مرجع رسمی توابع؛ غیرداوریشده