返回 BuildHub演示环境 · 模拟数据陈
AI 评测与优化/线上质量监控

线上质量监控

对线上会话抽样评分,收集负反馈,把可疑样本转成可复现的数据集用例

本周会话128统计范围:全部作业端会话
抽样评分36覆盖率 28%
平均评分89模拟 LLM 评分,仅看趋势
负反馈率3.8%负反馈会话 / 有反馈会话

线上样本

低分、负反馈或命中安全关键词的样本会进入复核队列

2 条待复核
4 条
线上样本时间模拟评分用户反馈问题线索复核
巡检滨江东路这个区域的消防通道MS-01 · S-101 · patrol_task
2026-10-29 09:41
94
未反馈未命中复核规则—
今天南湖公园的周界巡查排上了吗?MS-02 · S-102 · patrol_plan
2026-10-29 08:22
72
负向未提示 10:00–11:00 游船作业时间窗,值班员按原计划执行被驳回待复核
无人机为什么提示电池温度异常?MS-03 · S-103 · device_query
2026-10-28 17:07
64
负向回答未引用维护手册,停机时长与温度阈值缺少出处待复核
今天有哪些任务执行失败?MS-04 · S-104 · task_query
2026-10-28 13:12
96
正向未命中复核规则—

线上指标口径

抽样覆盖率
36/128 会话 · 按会话随机抽样
平均评分
36 条抽样回答的模拟评分均值,满分 100
负反馈率
点踩会话 / 有明确反馈的会话(105 条)
待复核样本
命中「低分 / 负反馈 / 安全关键词」的样本,共 2 条
统计范围
本周作业端线上会话,不含管理端操作

线上指标只反映趋势,不能替代有标准答案的评测集。

监控提示

  • 南湖公园周界巡查未提示临时作业窗口,已转失败分析
  • 设备电池温度问答缺少依据,建议加入知识库用例
  • 任务查询类回答评分稳定,无需抽样复核
去失败分析
线上样本与评分为模拟数据;复核结论只保存在本次演示会话中。

数据集、实验、评分与指标均为模拟数据,未调用真实模型或设备,也不代表真实线上表现。线上评分、反馈与样本内容均为模拟数据,未采集真实用户会话。