
要点
分段应围绕内容的完整含义。操作步骤、适用条件和例外说明尽量保持可关联;长文档可以按章节组织,再以小段检索并补充上级上下文。不存在适合所有资料的统一分段长度,需要用问题样例比较。
先检查一段内容能否独立理解
一条制度的结论可能写在前段,适用对象和例外写在后段。如果检索只取到结论,回答就可能扩大适用范围。查看分段预览时,重点寻找这类被拆开的条件。
产品参数表、问答文档和长篇手册的结构不同。问答可以按完整问题与答案组织;手册要保留章节路径;表格则需要重复或关联列标题与单位,不能只按字符数切断。
比较直接分段和上下级关联
Dify 官方文档介绍了普通分段与父子分段等方式。父子方式可以通过较小片段匹配问题,再返回较大范围的上下文。它提供一种选择,并不保证每份资料都会因此改善。
更大的上下文可能带入无关内容,更小的片段可能缺少条件。比较时保持问题与模型不变,观察来源是否命中、回答是否完整,以及新增文本是否确实有用。
用错误结果反推调整方向
如果总是漏掉例外,应检查相邻内容关联;如果返回大量无关条款,应检查分段范围与检索策略。不要在没有记录的情况下同时改动多项设置,否则难以知道哪一项有效。
保存典型文件的处理方式和失败样例,形成适合本企业文档的规则。重新分段后也要检查原文引用和版本标识,保证员工仍能找到完整资料,而不是只看到脱离来源的片段。
用条件分散的问题比较分段
选一道结论与例外分处两段的问题,比较直接分段与上下级关联后的检索结果。记录是否漏条件和带入无关信息,不预设统一长度,也不把平台默认值当成本企业最佳值。
参考来源
外部资料用于说明方法;具体功能、费用和许可条件以供应商现行说明及实际验证为准。
- Dify Docs|文档分段设置分段方式与文档预处理机制
- Dify Docs|索引与检索配置关键词、向量、混合检索及重排机制