
先围绕一个岗位的问题整理可用资料,再建立检索、来源引用与权限规则。RAG 是让模型先检索资料再组织回答的方法;它有助于利用企业信息,但资料错误、检索遗漏和回答误读仍需要分别检查。
先确定要回答哪些问题
从员工反复询问的实际问题开始,例如产品适用范围、操作条件或内部制度。记录问题对应的资料和维护人员,优先选择来源明确、变化可管理的内容。
文件越多不一定越有用。重复版本、过期通知和缺少上下文的截图会增加检索困难。第一批资料应覆盖目标问题,并保留标题、章节、日期和可访问的原文位置。
让每个回答都能回到来源
系统先找出相关资料,再将这些内容交给模型组织回答。展示答案时,应让员工看见引用的文档和位置,并区分原文支持的结论、需要补充的信息与无法确定的问题。
引用链接存在并不表示引用正确。核对时需要打开原文,检查它是否支持当前结论,适用产品和版本是否一致。资料没有提到的内容,不应仅凭模型常识写成企业规定。
分别验证检索和回答
为常见问题准备预期来源。先看是否找到了该文档,再看回答有没有正确理解。若没有检索到资料,调整提示通常无法解决根本问题;若来源正确但结论错误,再检查生成环节。
上线后保留问题反馈、资料更新与复测机制。企业知识库建设应同时说明内容维护和系统维护的责任,避免项目交付后无人处理过期答案。适用范围和接入系统按实际条件确认。
企业知识库不只有文档上传,还包含三类工作
第一类是内容管理:哪些资料有效、谁有权查看、更新后怎样替换。第二类是检索:把问题转换为查找条件,从可访问资料中取得相关内容。第三类是回答:依据检索结果组织说明,保留引用并处理证据不足。将三类工作分开,才能准确定位责任,避免把所有质量问题都交给模型解决。
以产品问答为例,资料管理员确认型号和说明书版本,检索环节查找对应规格与适用条件,生成环节将它们组织成客户或员工能理解的回答。产品不存在、型号混淆和资料没有提及的使用条件,分别需要不同处理。这种分层也决定了验收方式:上传完成、检索命中和答案可用,应有各自的检查记录。
| 环节 | 需要明确的内容 | 应留下的证据 |
|---|---|---|
| 资料 | 来源、有效版本、权限、维护人 | 资料清单与原文位置 |
| 检索 | 问题、筛选条件、候选片段 | 检索结果及对应文档 |
| 回答 | 结论、条件、缺失信息 | 答案与引用位置 |
| 维护 | 更新、纠错与复测责任 | 变更记录和问题处理结果 |
怎样建立第一组有业务意义的问题集
从员工实际工作中收集问题,保留他们原来的问法。产品目录写的是正式型号,销售可能使用简称;制度按照部门分类,员工可能直接问某种情况能否办理。将原始问法与正式术语对应,既能发现资料入口问题,也能避免评价时只测试与文档标题完全相同的句子。
每个问题附预期来源、合格答案的关键点和不能越过的条件。例如“这个型号适合长期户外使用吗”,需要明确具体型号、环境条件及资料是否支持,而不是接受一段通用材料知识。问题集中应有可以直接回答、需要结合多处资料、需要澄清对象、资料无答案四类情况。数量依据范围确定,先覆盖不同错误类型,再逐步增加同类样本。
| 问题类型 | 合格行为 | 常见错误 |
|---|---|---|
| 直接查找 | 定位有效文档中的具体内容 | 只给一般常识 |
| 条件组合 | 同时保留条件与例外 | 漏掉限制后扩大结论 |
| 对象不明 | 先确认型号、时间或范围 | 自行选择相似对象 |
| 缺少证据 | 说明资料不足并给出处理去向 | 编造一个肯定答案 |
元数据应服务于业务筛选,而不是为了字段齐全
元数据是与正文一起保存的资料说明,例如产品编码、部门、版本、生效状态和维护人。对于型号容易混淆的企业,产品编码可能是必要筛选条件;对于制度问答,适用对象和生效时间更关键。不要将所有可能字段都设计为必填,而应从会造成错误回答的差异出发。
字段值需要有可靠来源。由模型推测出来的部门或产品归属,应经过确认后再用于限制检索,否则一旦标错,正确资料可能从候选中消失。资料清单还应记录哪些字段来自系统、哪些来自人工维护。以后发生检索遗漏时,可以先检查筛选条件,再判断是否需要调整向量检索或模型。
精确名称与口语问题,需要不同的查找线索
用户输入完整型号或内部编号时,精确匹配很有价值;用户用自己的语言描述故障或工作情况时,语义检索可能更有帮助。混合检索的意义在于利用互补线索,而不是简单把返回数量加倍。先检查正确资料是否进入候选,再判断候选排序与交给模型的内容是否合适。
增加重排或返回片段后,记录来源命中与回答质量是否改善,同时测量等待时间。某些问题需要更完整的上下文,另一些则只需要一个参数。没有一组固定设置可以同时适用于所有文档。对于不同资料类型,可以分别保留测试记录;不能仅因为某个问题改善,就宣布整个知识库已经准确。
对答案约定内容结构,比要求“回答专业”更可验证
可以将业务答案约定为结论、适用条件、依据和待确认项。用户只需要一个数值时,简短返回并附来源;涉及多项规则时,分点说明它们之间的关系。不要为了结构统一而给所有简单问题套上长模板,也不要为了简短删掉会影响业务判断的限制。
引用应紧邻其支持的结论,并能打开原始文档的对应位置。两个来源发生冲突时,优先检查版本与适用对象,不让模型自行将它们合并成新的企业规则。必要时返回冲突说明和负责人,而不是继续生成答案。引用的可访问性也需要按用户身份验证,避免普通员工能看到受限片段却打不开原文。
评价时区分“找到资料”和“正确使用资料”
检索评价可以记录预期来源是否出现在返回候选中,以及排名是否足以进入后续上下文。回答评价则检查结论是否被来源支持、限制是否完整、未知问题是否得到适当处理。两者不能混成一个评分,否则很难判断下一步应该修正文档、检索还是提示。
如果需要用比例表达结果,先明确分母。例如“这组已标注问题中,有多少题找到预期来源”,不能写成没有范围说明的“知识库准确率”。评价者也应使用同一规则,不将文字风格偏好混入事实正确性。模型辅助评分可以节省部分整理工作,但对关键事实、权限边界和重要承诺,仍需业务人员核对。
从部门试用扩大到企业使用,要补哪些条件
扩大范围时,新增的不只是文档量,还包括不同岗位、术语、权限和维护人员。一个部门能够回答的问题,不一定适用于其他部门。先列出新增对象带来的变化,再补充资料筛选、问题样例和责任交接。对于无法及时维护的内容,可以暂缓进入正式问答范围。
运行环境还需观察响应时间、同时使用人数、失败任务与实际费用。文档解析、索引更新和问答服务可能分别受配额或网络影响,应让使用者看到当前状态。系统不可用时,保留访问原始资料的方式,避免员工只能等待一个没有结果的对话窗口。
选择知识库方案时,应该核对哪些交付内容
比较方案时,可要求演示同一份脱敏资料和同一组问题,查看检索片段、引用、权限变化与资料更新后的结果。单纯比较可上传文件数量,无法说明企业实际关心的答案质量。供应商的演示数据可用于了解交互,但不能代替自己的资料验证。
交付范围应明确:谁整理初始资料、谁维护元数据、哪些系统接口已经接通、哪些能力需要配置或开发,以及未来如何处理模型和平台变化。企业知识建设应围绕这些事项确认自己的建设范围,课程与协助咨询帮助团队学习方法,技术实施另列约定。将技术底座与持续维护分开说明,有助于企业判断当前能用什么、后续还需要承担什么工作。
先做一个可以回到原文的问题集
从外贸团队重复询问的产品或流程问题开始,为每题记录预期来源、版本、权限与答案限制。分别检查资料存在、检索找到、回答用对三件事,再决定扩大知识范围。
参考来源
外部资料用于说明方法;具体功能、费用和许可条件以供应商现行说明及实际验证为准。
- Dify|Knowledge Pipeline资料处理、检索与来源引用的产品说明
- 秩启|企业资料准备企业资料、角色与待核事项整理;保存草案不等于形成正式业务规则