# 知识库回答质量怎么测？不要只看语气是否肯定 用来源命中、结论支持度和拒答情况，建立知识问答的业务评价方法。 要点：将知识库评价分成检索和回答两部分：相关资料是否找到，结论是否被资料支持，缺少依据时是否明确说明。使用固定问题集并保留难例，可以比单次体验更准确地判断修改是否有效。 ![阅读者逐项检查书册中的文字与配图（AI概念配图）](/images/guides/covers/knowledge-evaluation-v2.png) ## 问题来自实际使用 收集员工常问的问题，为每题记录预期来源和判断要点。题目应覆盖直接查找、多个条件组合、旧版干扰及资料缺失。不要全部由制作知识库的人按照文档标题编写。 “没有答案”的题目同样重要。例如企业尚未确认的交付时间，合格行为应是说明缺少依据，而不是给出一个听起来合理的承诺。评价标准先由业务人员确认。 ## 将错误分到对应环节 找不到正确文档，优先检查资料处理与检索；找到文档却忽略条件，检查上下文和回答方式；引用了过期版本，检查资料状态与筛选。笼统记录“AI 回答不准”不利于修正。 引用正确性也要单独核查。答案附了文档链接，并不能证明该文档包含相关结论。让审核者指出支持结论的原句或表格，可以暴露看似完整的错误回答。 ## 每次修改保留对照结果 调整分段、模型或检索设置后，重跑同一组问题，记录改善与退步。正常问题不能因为修改难例而从评价中消失，否则会高估整体变化。 小规模问题集用于发现问题，不宜包装成普遍准确率。对外说明效果时，应给出测试范围、样本条件和剩余限制。企业内部是否采用，还要结合实际审核负担和维护成本。 ## 分别记录找对资料与用对资料 为每题写出预期来源及答案必须保留的条件，另设资料没有答案和来源冲突的题。修改后重跑同组样例，报告样本范围、通过项与未解决问题，不把小样本命中率称为全库准确率。 ## 参考来源 - [Dify Docs｜索引与检索配置](https://docs.dify.ai/en/cloud/use-dify/knowledge/create-knowledge/setting-indexing-methods)：关键词、向量、混合检索及重排机制 - [秩启｜企业资料准备](/workspace)：企业资料、角色与待核事项整理；保存草案不等于形成正式业务规则 ## 一条答案的核查次序 - 找到：预期来源进入检索结果 - 支持：原文支持结论及条件 - 诚实：无依据时说明无法确定 ![一条答案的核查次序](/images/guides/diagrams/knowledge-evaluation.svg) ## 继续阅读 - [企业知识库怎么搭？从资料整理到有来源的回答](/guides/enterprise-knowledge-base) - [知识库搜不准：关键词、向量检索和重排怎么配合？](/guides/rag-retrieval) - [智能体和工作流怎么测试？把失败样例保留下来](/guides/workflow-evaluation) 分别核对学习、企业建设和阶段评审证据；秩启标准属于品牌自身评价依据。 下一步：[查看成果与证据标准](/standards) 原文：/guides/knowledge-evaluation 内容版本：guide:knowledge-evaluation:v1 [结合企业情况咨询](/intake?source=%2Fguides%2Fknowledge-evaluation&articleId=guide%3Aknowledge-evaluation&versionId=guide%3Aknowledge-evaluation%3Av1)