知识库回答质量怎么测？不要只看语气是否肯定

问题来自实际使用

收集员工常问的问题，为每题记录预期来源和判断要点。题目应覆盖直接查找、多个条件组合、旧版干扰及资料缺失。不要全部由制作知识库的人按照文档标题编写。

“没有答案”的题目同样重要。例如企业尚未确认的交付时间，合格行为应是说明缺少依据，而不是给出一个听起来合理的承诺。评价标准先由业务人员确认。

将错误分到对应环节

找不到正确文档，优先检查资料处理与检索；找到文档却忽略条件，检查上下文和回答方式；引用了过期版本，检查资料状态与筛选。笼统记录“AI 回答不准”不利于修正。

引用正确性也要单独核查。答案附了文档链接，并不能证明该文档包含相关结论。让审核者指出支持结论的原句或表格，可以暴露看似完整的错误回答。

每次修改保留对照结果

调整分段、模型或检索设置后，重跑同一组问题，记录改善与退步。正常问题不能因为修改难例而从评价中消失，否则会高估整体变化。

小规模问题集用于发现问题，不宜包装成普遍准确率。对外说明效果时，应给出测试范围、样本条件和剩余限制。企业内部是否采用，还要结合实际审核负担和维护成本。

分别记录找对资料与用对资料

为每题写出预期来源及答案必须保留的条件，另设资料没有答案和来源冲突的题。修改后重跑同组样例，报告样本范围、通过项与未解决问题，不把小样本命中率称为全库准确率。