跳到正文
秩启v1.5.4
外贸企业AI应用与组织升级

方法与实践 / 知识库

知识库分段怎么选?先保证条件和结论在一起

解释文档分段与上下文的关系,避免机械套用统一长度。

约 2 分钟
带有分隔标签的技术手册与放大镜(AI概念配图)
AI概念配图,用于辅助理解方法。
要点

分段应围绕内容的完整含义。操作步骤、适用条件和例外说明尽量保持可关联;长文档可以按章节组织,再以小段检索并补充上级上下文。不存在适合所有资料的统一分段长度,需要用问题样例比较。

检索精度:片段与问题容易匹配;含义完整:结论与适用条件可关联;原文定位:能够打开完整来源
分段需要同时考虑 · 查看原图,可缩放阅读 ↗

先检查一段内容能否独立理解

一条制度的结论可能写在前段,适用对象和例外写在后段。如果检索只取到结论,回答就可能扩大适用范围。查看分段预览时,重点寻找这类被拆开的条件。

产品参数表、问答文档和长篇手册的结构不同。问答可以按完整问题与答案组织;手册要保留章节路径;表格则需要重复或关联列标题与单位,不能只按字符数切断。

比较直接分段和上下级关联

Dify 官方文档介绍了普通分段与父子分段等方式。父子方式可以通过较小片段匹配问题,再返回较大范围的上下文。它提供一种选择,并不保证每份资料都会因此改善。

更大的上下文可能带入无关内容,更小的片段可能缺少条件。比较时保持问题与模型不变,观察来源是否命中、回答是否完整,以及新增文本是否确实有用。

用错误结果反推调整方向

如果总是漏掉例外,应检查相邻内容关联;如果返回大量无关条款,应检查分段范围与检索策略。不要在没有记录的情况下同时改动多项设置,否则难以知道哪一项有效。

保存典型文件的处理方式和失败样例,形成适合本企业文档的规则。重新分段后也要检查原文引用和版本标识,保证员工仍能找到完整资料,而不是只看到脱离来源的片段。

用条件分散的问题比较分段

选一道结论与例外分处两段的问题,比较直接分段与上下级关联后的检索结果。记录是否漏条件和带入无关信息,不预设统一长度,也不把平台默认值当成本企业最佳值。

参考来源

外部资料用于说明方法;具体功能、费用和许可条件以供应商现行说明及实际验证为准。

  1. Dify Docs|文档分段设置分段方式与文档预处理机制
  2. Dify Docs|索引与检索配置关键词、向量、混合检索及重排机制

文章评论