N · نرمالسازی فارسی
یکسانسازی ی/ک، نیمفاصله، ارقام و شکلهای مرکب. هدف، برابرکردن صورت نوشتاری است نه تغییر معنا.
فصل ۰۳ · موتور قطعی
از عبارت آزاد به اجزای قابل پایش
موتور استانداردسازی متن خام را حفظ میکند، صورت نوشتاری را نرمال میکند، مفهوم و ویژگیها را جدا میسازد و هر ابهام باقیمانده را آشکار میکند.
Normalize/Units/Base name LIVEGS1 common profile PILOTFull GS1 syntax ROADMAP
خط پردازش قطعی
L0 · NormalizeUnicode، فاصله، ارقام، compound
←Expert memoryتصمیمهای تصویبشده
←Unit canong/kg، ml/L و مقدار
←Decomposeconcept، facet و scope
←Risk gateleftover، proper noun و confidence
چرا متن خام حفظ میشود؟
اگر «1000 گرم» به «1 kg» تبدیل شد، باید بتوان دید کاربر چه نوشته، سامانه چه تغییری داده و با کدام نسخهٔ قاعده. حذف متن خام، امکان ممیزی و اصلاح اشتباه را از بین میبرد.
خانوادهٔ قواعد
U · واحد و مقدار
تبدیل سازگار واحدها و نگهداشت مقدار. بعد، نوع dimension باید کنترل شود تا وزن و حجم با هم اشتباه نشوند.
P · قفل اسم خاص
نام شرکت، برند، مدل و جغرافیا نباید ترجمه یا به واژهٔ عمومی تبدیل شوند مگر مرجع صریح وجود داشته باشد.
Scope و coordination
در «گوشت بی استخوان و چربی»، نفی باید به هر دو ویژگی مرتبط برسد؛ نه اینکه فقط به نزدیکترین واژه بچسبد.
Concept bank
صورتهای سطحی متعدد به مفهوم canonical متصل میشوند. بانک داخلی committee-pending است و استاندارد رسمی GS1 نامیده نمیشود.
Abstention
واحد تاریخی، عبارت حقوقی یا منبع نامطمئن باید متوقف شود. «نمیدانم/نیازمند مرجع» خروجی سالم است.
خروجی اتمی و قابل توضیح
خروجی خوب یک متن بازنویسیشدهٔ زیبا نیست؛ ساختاری است که هر جزء آن قابل کنترل و مقایسه باشد.
| لایه | نمونه | دلیل نگهداری |
|---|---|---|
| raw_text | گوشت گوساله بی استخوان 1000 گرم | اثر انگشت ورودی و audit |
| normalized_text | گوشت گوساله بیاستخوان ۱۰۰۰ گرم | تطبیق پایدار صورت نوشتاری |
| base_name | گوشت | دستهبندی و ساختار اصلی |
| facets | نوع=گوساله؛ استخوان=بدون؛ مقدار=۱ kg | پایش و مقایسهٔ اتمی |
| leftover/questions | — یا پرسش روشن | عدم پنهانسازی ابهام |
| provenance | engine/memory/rule version | قابلیت بازتولید |
نام پایه و قاعدهٔ واژههای آغازین
در دادهٔ فارسی، واژههای ابتدایی معمولاً ماهیت محصول را حمل میکنند؛ این سیگنال در رتبهبندی باید حفظ شود.
«تسمه تایم پژو 405»
نام پایهٔ درست «تسمه تایم» است. مدل خودرو qualifier است و نباید نام پایه را به «پژو» تبدیل کند.
«گوشت کم چرب با استخوان»
نام پایه «گوشت» است؛ کمچرب و بااستخوان ویژگیاند. first-word priority مانع انتخاب تطبیق جذاب اما نامربوط در انتهای متن میشود.
تشبیه ساده
مثل فهرست کتابخانه که ابتدا نوع اثر را میگیرد و بعد نویسنده و چاپ را؛ اگر مشخصات فرعی جای ماهیت اصلی بنشینند، گزارشگیری کل سامانه بههم میریزد.
مرز تصمیم خودکار و بازبینی
| شرط | خروجی سالم |
|---|---|
| قاعده قطعی + بدون leftover + آستانه مصوب | auto_resolved همراه provenance؛ همچنان مشمول نمونهگیری پایشی |
| عبارت چندمعنا یا اطلاعات ناقص | needs_review با پرسش مشخص |
| قفل نام خاص یا identifier در خطر | عدم اعمال پیشنهاد و ثبت دلیل رد |
| خطای ورودی | blocked با پیام قابل اصلاح |
| بازخورد شرکت/استان | candidate-only؛ بدون تغییر مستقیم canonical memory |
درسآموختههای فنی از نقصها
دفتر D-01 تا D-13 نشان داد کیفیت فقط با افزودن واژه بیشتر نمیشود؛ scope، ترکیب، اسم خاص، ترتیب کلمه و خروجی اتمی باید همزمان آزمون شوند.
پاکسازی ≠ تصحیح معنا
نرمالسازی شکل متن را یکسان میکند؛ واژهٔ اشتباه نیازمند CorrectionEvent و evidence است.
دیکشنری ≠ فهم دامنه
وجود واژه در بانک کافی نیست؛ نقش نحوی، qualifier و تناقض باید بررسی شود.
عبور تست ≠ پذیرش سازمان
بستن defect نیازمند بازپردازش داده، evidence و تأیید کتبی کارشناس GS1 ایران است.