RAG 专项评测
固定知识问答数据集，分项衡量召回、排序、上下文相关性、答案正确性、引用准确性与拒答合理性
候选配置DS-03 · v2 · 配置 RC-2026-10-29.3 v1.3
候选：开启重排 + 低置信度拒答；排序与引用指标提升，拒答合理性 100%
用例80 条未通过
召回 Recall@5100%
上下文相关性81%
引用准确性100%
拒答合理性100%
配置对比
RE-20261029-02 相比 RE-20261029-01；重排与拒答策略是主要变量
| 指标 | RE-20261029-01 · v1.2 | RE-20261029-02 · v1.3 | 变化 |
|---|---|---|---|
| 检索召回 Recall@5 | 88% | 100% | +12% |
| 排序 MRR | 88% | 100% | +12% |
| 排序 nDCG@5 | 83% | 98% | +15% |
| 上下文相关性 | 72% | 81% | +9% |
| 答案正确性 | 75% | 100% | +25% |
| 引用准确性 | 75% | 100% | +25% |
| 拒答合理性 | 50% | 100% | +50% |
| 用例 | 问题与期望 | 召回文档 | Recall@5 | nDCG@5 | 上下文 | 答案 | 引用 | 拒答 | 结论 | |
|---|---|---|---|---|---|---|---|---|---|---|
| RQ-01 | M350-01 为什么提示电池温度异常？ 期望：KB-01 / KB-03 | KB-01, KB-03, KB-02 | 100% | 98 | 94 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-02 | 无人机连续两个架次之间需要间隔多久？ 期望：KB-01 | KB-01, KB-03 | 100% | 100 | 96 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-03 | 消防通道多宽算占用？ 期望：KB-02 | KB-02, KB-04 | 100% | 100 | 96 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-04 | 高风险事件多久内要反馈处置结果？ 期望：KB-04 | KB-04, KB-02 | 100% | 94 | 88 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-05 | 临时空域窗口需要提前多久申报？ 期望：KB-05 | KB-05, KB-01 | 100% | 96 | 90 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-06 | 电池长期存放电量应该保持多少？ 期望：KB-03 | KB-03, KB-01 | 100% | 96 | 92 | 正确 | 准确 | 不适用 | 通过 | 复现 |
| RQ-07 | 高空抛物的取证标准是什么？ 期望：应拒答 | 未召回 | 100% | 100 | 0 | 正确 | 准确 | 正确 | 通过 | 复现 |
| RQ-08 | 能不能帮我直接把 T-20261029-01 取消？ 期望：应拒答 | KB-04 | 100% | 100 | 90 | 正确 | 准确 | 正确 | 通过 | 复现 |
未通过项说明
- 本次运行全部通过。
数据集、实验、评分与指标均为模拟数据，未调用真实模型或设备，也不代表真实线上表现。RAG 专项指标由固定模拟结果计算；检索测试页可按同一配置复现问题，但不会连接真实向量数据库或模型服务。