Harness چیست؟
پوستهٔ سیاستگذاری و ثبت شواهد پیرامون موتور و مدل؛ تعیین میکند چه دادهای، با چه نقشی، در چه ترتیب و با چه خروجیای پردازش شود.
فصل ۱۰ · Context Engineering
مدل قوی، بدون Harness قابل اتکا نیست
میز تصمیم ورودی، نقش، سیاست، شواهد و نسخهٔ قواعد را در یک قرارداد محدود کنار هم میگذارد؛ سپس پیشنهاد احتمالی مدل را دوباره با قواعد قطعی کنترل میکند. هدف، بهترین پیشنهاد قابل توضیح است—not واگذاری مرجعیت به مدل.
Deterministic core LIVEHarness/API PILOTCloud proposal UNAVAILABLE
در ۶۰ ثانیه
Context چیست؟
بستهٔ محدود و نسخهداری از ورودی، سیاست server، نتیجهٔ قطعی، شواهد مجاز و تاریخچهٔ کوتاه؛ نه انباشت نامحدود همهٔ اطلاعات.
Prompt چیست؟
قرارداد وظیفه و خروجی است. Prompt خوب جای دادهٔ معتبر، schema، post-validation و ارزیابی را نمیگیرد.
تشبیه ساده
مدل مانند مشاور توانمندی است که نظر میدهد. Harness مثل دبیرخانهٔ جلسه است: پروندهٔ درست را میسازد، حدود اختیار را اعلام میکند، صورتجلسه و منابع را ثبت میکند و اجازه نمیدهد پیشنهاد بدون امضا وارد مصوبه شود.
جریان تصمیم، به ترتیب غیرقابل دورزدن
۱ · Authenticateprincipal، workflow، scope
←۲ · Server policyclassification و اختیار
←۳ · Deterministiclearn=false، AI=false
←۴ · Bounded contextنسخه + digest
←۵ · Retrievalاختیاری و citation-bound
←۶ · Proposalstructured، اختیاری
←۷ · Post-validateschema و invariants
←۸ · Responsestatus + evidence
ACTIVE PATH
امروز
مراحل هویت، سیاست، استنتاج قطعی، کانتکست، ثبت نسخه و پاسخ deterministic در دسترساند. Retrieval و cloud proposal در تولید خاموشاند و پاسخ باید همین محدودیت را آشکار کند.
Context Envelope چه چیزی را حمل میکند؟
Envelope باید کوچک، قابل هش، بازتولیدپذیر و متعلق به server باشد. client حق پایینآوردن classification یا جعل سازمان و نقش را ندارد.
| بخش | محتوا | کنترل |
|---|---|---|
| Identity | actor/channel، workflow و capability | از principal معتبر، نه متن کاربر |
| Input | رکورد، فیلد هدف، mode و زبان | schema، اندازه و sanitization |
| Policy | data class، egress، provider/tool allowlist | server-owned و fail-closed |
| Deterministic result | normalized، facets، identifiers، ambiguities | trust root و protected fields |
| Evidence | chunk ID، source، version، rights و citation | فقط retrieval واقعی و snapshot مصوب |
| Memory summary | خلاصهٔ محدود نشست در صورت مجازبودن | TTL، attribution و عدم اختلاط کاربران |
| Reproducibility | prompt hash، context digest، engine/memory version | در trace و نتیجه ثبت شود |
چرا context بزرگتر همیشه بهتر نیست؟
اطلاعات اضافی میتواند سند نامرتبط، دادهٔ ممنوع یا دستور مخرب را وارد تصمیم کند و هزینه و زمان را بالا ببرد. بهترین context، مرتبطترین بستهٔ مجاز و قابل ردگیری است—not بلندترین متن ممکن.
Prompt بهعنوان Artifact مهندسی
System policy
نقش، ممنوعیتها، ترتیب تصمیم، abstention و مرز proposal-only را ثابت میکند.
Task contract
فیلد هدف، schema خروجی، reason codeها و نیاز به citation را تعریف میکند.
Data fence
متن و سند را «دادهٔ غیرقابل اعتماد» معرفی میکند، نه دستور قابل اجرا.
Version + hash
هر تغییر prompt شناسه و اثر انگشت دارد تا نتیجه قابل بازتولید و مقایسه باشد.
Few-shot کنترلشده
مثال فقط از مجموعهٔ versioned و بدون PII وارد میشود؛ مثالهای شکست نیز پوشش داده میشوند.
Prompt tuning ≠ یادگیری خودکار
تغییر فقط پس از replay، مقایسه با champion، بررسی regression و تصویب مالک انجام میشود.
چهار صفحهٔ حافظه، چهار سطح اختیار
| صفحه | دوام | مرجعیت | مسیر تغییر |
|---|---|---|---|
| Session context | کوتاه، process-local | فقط پیوستگی گفتوگو | انسان نامدار؛ کانال مشترک stateless |
| Candidate feedback | append-only + hash chain | نامزد ارزیابی | API بازخورد؛ بدون promotion خودکار |
| Canonical expert memory | پایدار و نسخهدار | تصمیم تصویبشده | گردشکار کارشناس/کمیته |
| RAG snapshot | immutable artifact | شواهد پشتیبان | ingestion مجاز + manifest + gate |
مدل پیشنهاد میدهد؛ سیستم دوباره بررسی میکند
کنترل ساختاری
- JSON Schema و enumها
- وجود reason و confidence
- حد اندازه و نبود HTML/tool call ناخواسته
کنترل معنایی
- عدم تغییر identifier محافظتشده
- عدم ترجمه یا تخریب proper noun
- citation فقط از chunk بازیابیشده
- عدم تعارض با قاعدهٔ قطعی
خروجی ردشده
پیشنهاد ردشده حذف بیردپا نمیشود؛ attempt، دلیل رد و مسیر fallback در trace ثبت میشود، اما canonical را تغییر نمیدهد.
Abstention سالم
اگر شاهد یا اختیار کافی نیست، پاسخ «نیازمند بازبینی/مرجع» از حدس دقیقنما ارزشمندتر است.
چرخهٔ بهبود هدف: از بازخورد تا نسخهٔ بهتر
TARGET / ROADMAP
فرایند حکمرانی پیشنهادی
فقط ثبت candidate feedback در قرارداد PILOT پیاده شده است. داوری دوکارشناس، blind holdout نماینده، replay سازمانی، تصویب و انتشار کنترلشده هنوز چرخهٔ عملیاتی پذیرفتهشده نیستند.
- Capture · PILOTقبول، رد، ویرایش، reason code و evidence بهصورت candidate ثبت میشود؛ هیچ promotion خودکاری رخ نمیدهد.
- Curate · TARGETپس از تصویب فرایند، PII و موارد نامعتبر حذف و اختلافها به داوری دوکارشناس فرستاده شوند.
- Replay · TARGETنسخهٔ candidate روی golden، blind holdout و protected regression اجرا شود.
- Compare · TARGETکیفیت، ECE، latency، هزینه و review burden با champion سنجیده شود.
- Approve · TARGETمالک واژگان/کیفیت تغییر rule، prompt یا memory را بهطور صریح تصویب کند.
- Release and monitor · TARGETنسخهٔ قابل rollback منتشر و drift cohortها پایش شود.
سامانه در آینده چگونه میتواند «یاد بگیرد»؟
نه با تغییر بیدرنگ پس از هر کلیک؛ بلکه با تبدیل تجربههای ثبتشده به دادهٔ ارزیابی، آزمون نسخهٔ پیشنهادی و تصویب تغییر قابل بازگشت. اکنون این حلقه بهجز Capture، هدف حکمرانی است و قابلیت خودکار جاری نیست.
یک Harness، چهار workflow جدا
هنگام ورود شرکت
اصلاح قطعی فوری، سؤال کوتاه و پیشنهاد تفکیکشده.
بازبینی استان
مقایسهٔ قبل/بعد، evidence، ریسک و ارجاع.
پایش کارشناس
موارد unresolved، proposalهای ردشده، drift و feedback chain.
پرسش مرجع
رفتار هدف، پاسخ فقط با سند بازیابیشده و citation معتبر است؛ چون RAG تولیدی خاموش است، runtime فعلی باید unavailable/abstain برگرداند.
معیار پذیرش حرفهای Harness
| گیت | شاهد لازم | مالک |
|---|---|---|
| Isolation | کانال مشترک به session کاربر دیگر دسترسی ندارد | IT/Security |
| Protected fields | مدل نمیتواند GTIN، نام خاص یا فیلد قطعی را دور بزند | استانداردسازی |
| Citation binding | هر citation به chunk بازیابیشده متصل است | دانش/کیفیت |
| Feedback integrity | chain قابل تأیید و canonical بدون promotion خودکار | ممیزی |
| Reproducibility | prompt/context/engine/memory version در trace | مالک خدمت |
| Operational fit | p95، هزینه، abstention و بار انسانی در محدودهٔ مصوب | کمیته پذیرش |
PILOT
مرز فعلی
قرارداد، kernel، Workbench و گاردها مستقرند؛ اما scoped service identities، OIDC/mTLS، corpus رسمی، write-back سازمانی و پیشنهاد cloud پذیرفته/فعال نشدهاند.