跳到正文
秩启v1.5.4
外贸企业AI应用与组织升级

方法与实践 / 知识库

RAG 与微调如何选择:知识变化和行为学习分别考虑

围绕资料更新、来源引用与行为要求,讨论 RAG 和模型微调的任务分工。

约 3 分钟
对照不同文档与问答处理界面(AI概念配图)
AI概念配图,用于辅助理解方法。
要点

需要查询不断变化的企业资料并保留来源时,通常先考虑检索增强;需要稳定学习某类表达或任务行为时,再评估微调是否有必要。两者可以组合,但都不能替代数据质量与任务评价。选择应从问题机制出发。

事实依据:资料、检索与引用;行为要求:提示、约束与样例;训练选择:在评价基础上决定
先辨认问题发生在哪一层 · 查看原图,可缩放阅读 ↗

先确定缺少的是依据,还是稳定的行为

如果模型不知道最新产品参数,问题首先在于能否取得有效资料。把资料通过检索交给模型,有助于保留来源和更新路径。如果模型已经得到合适信息,却持续不按要求输出,则应检查提示、样例、结构约束与评价,再判断是否需要训练层面的调整。

不要因为一个答案不理想,就把方案升级为微调。资料缺失、检索遗漏、任务定义模糊和格式不稳定,可能需要不同处理。能够定位问题所在,比提前选择技术路线更重要。

频繁变化的事实需要可维护的外部来源

产品状态、制度版本和客户条件可能不断变化。若希望回答能够回到原文,外部资料与检索链提供了更直接的维护入口。更新时仍需检查文档、索引和实际答案,不能把上传成功等同于内容已经正确使用。

微调可以影响模型行为,但不宜被当作带精确版本控制的文档数据库。企业若需要确认某个结论来自哪份资料,仍应保留外部证据。两种方式的维护对象不同,后续责任和成本也随之不同。

需求重点优先核对的方案方向
资料常变且需要引用外部资料管理与检索增强
格式与规则尚不清楚提示、结构约束和程序校验
稳定任务行为难以获得在评价基础上评估微调
既要资料又要特定行为分别验证后再组合

微调要求企业能够定义合格样例

训练样例应反映希望稳定获得的行为,并保持输入、输出与业务规则一致。错误样例、相互冲突的标注或已经失效的规则,都可能给后续评价带来困难。准备样例本身就是一项业务判断工作。

比较前后变化时,保留未参与训练的测试样例,检查目标行为改善的同时,原有能力是否退步。样本有限时,应说明结果范围,不把一次实验写成对所有企业任务的普遍结论。

先采用能够解释和维护的最小组合

可以从清楚提示、有效资料与一组测试问题开始。明确失败类型后,再增加检索调整、工具连接或训练方案。每增加一项能力,都应能解释它解决了什么问题,以及未来谁负责维护。

企业不需要在两个技术名称之间表达立场。更有意义的选择,是使事实更新、行为要求与评价方法保持对应,让系统的复杂度跟随实际需要增长。

先写出想改变的是事实还是行为

如果缺的是最新规格,先补可检索来源;如果格式或分类长期不稳,先明确样例和评价,再考虑微调。使用独立测试集比较,供应商支持的模型、地区与条件在实施时另行核对。

参考来源

外部资料用于说明方法;具体功能、费用和许可条件以供应商现行说明及实际验证为准。

  1. Dify|Knowledge Pipeline资料处理、检索与来源引用的产品说明
  2. Anthropic|Prompt engineering overview明确成功标准后改进提示
  3. Google Cloud|监督微调说明训练样例与任务行为调整;具体支持条件以当前文档为准

文章评论