Office · 分层验证

规则检查确定性工件，Judge 检查有证据支撑的质量。

同一组 50 道 Office 任务，会通过两层互补验证：细粒度确定性规则，以及基于证据的 Judge 条 rubrics。

图示 · 50 道 Office 任务的验证覆盖

共同分母

50个 Office 工作流任务

确定性规则

检查精确文件、schema、数值、状态和安全边界。

RULE 层

18,804条规则检查

145每题中位数

376每题平均值

LLM Judge

只基于可见证据判断语义质量。

JUDGE layer

504条 rubrics

10每题中位数

10.1每题平均值

规则检查什么

环形图显示任务覆盖；悬停查看各类数量。

任务 / 50

Rulestask
coverage

Judge 检查什么

玫瑰图显示任务覆盖；悬停查看各类数量。

任务 / 50

Judgetask
coverage

同一输出表面，两层验证

这里重绘了两个输出产物：一份报告和一行 manifest。悬停高亮即可看到它触发的检查。

archive_report.mdreport sections

                  ## 范围 / 边界
                  offline mail export only · archive_out writes only
                  ## 分桶
                  candidate_docs · needs_review · reference_only · missing_refs
                  ## 回读验证
                  manifest parses · source files retained · no overclaim
                

archive_manifest.jsonone manifest row

                  {
                    "source_path": "mail_export/...",
                    "archive_bucket": "needs_review",
                    "relationship_trace": ["message", "attachment", "text sidecar"],
                    "exception_reason_codes": ["weak_link"],
                    "decision_rationale": "weak link; reviewer action kept",
                    "archive_path": "archive_out/..."
                  }
                

每一层检查什么

RULE · 精确核对JUDGE · 质量判断EVIDENCE · 两层共用

RULE该有的清单和报告都在，能打开，也符合要求的结构。

RULE原始文件没有被改坏，新增内容只写到归档输出目录。

RULE哪些是候选文件、哪些缺失、哪些需要复核，都分对了。

EVIDENCE每条输出都能追到对应的邮件和附件线索。

JUDGE解释说得通：为什么关联不够强、为什么要交给人复核。

JUDGE报告对接手的人有用，也没有夸大自己做过的事。