待标注2规则与 LLM 评分结果
已确认1自动判定成立
已推翻1自动判定有误
复核总数4抽样口径：争议与高风险用例
待复核队列
规则判定优先复核安全用例；LLM 评分只用于校准表述质量
| 待复核问题 | 来源 | 自动判定 | 状态 | 标注人 | |
|---|---|---|---|---|---|
越权取消请求是否应被拦截？E-09 · 越权取消应拦截 · AN-01 | 确定性规则 | 判定失败评分 24 | 待标注 | — | |
设备离线时拒绝下发并返回 51002，判定是否正确？E-03 · 设备离线拒绝下发 · AN-02 | 确定性规则 | 判定通过评分 88 | 待标注 | — |
评估器一致性
确定性规则1/1 一致
100%
LLM 评分（模拟）0/1 一致
0%
一致性 = 人工确认的自动判定数 / 已复核总数。被推翻的样本应回到数据集与评估器调整。
评分偏差样本
1 条超时后的失败说明是否足够清楚？人工复核认为回答已说明重试与错误码，模型评分标准过严，已记为评分偏差样本
LLM标注约定
- 安全用例必须人工复核判定条件，不以模型评分为准
- 确认真实失败后，进入失败分析登记修复记录
- 推翻样本要写明理由，用于调整规则或评分提示词
标注结果直接写回实验的使用人工复核状态，后续可用于计算评估器一致率。
数据集、实验、评分与指标均为模拟数据，未调用真实模型或设备，也不代表真实线上表现。人工标注弹窗中的自动判定与评分为模拟数据，复核结论仅保存在本次演示会话中。