# 模型更新后为什么变了：持续评价比一次选型更重要

识别模型、提示、资料与输入分布变化，建立企业 AI 应用的持续评价与变更记录。

要点：AI 应用表现变化可能来自模型版本、提示、工具、知识资料或真实输入分布。持续评价应保留稳定样例和近期困难任务，并记录依赖变化。发现退步后，先定位原因，再决定修订、切换或回退。

![在评估界面中比较任务结果与变化（AI概念配图）](/images/product-evidence/compute-cost-v3.png)

## 不要把所有变化都归因于模型

业务新增加了产品线，输入资料开始采用另一种格式，或者工具字段调整，都可能使原方案表现下降。即使模型没有更新，任务分布也可能已经改变。

可以在问题记录中保留时间、输入类型、所用配置和引用资料。对照这些信息，才能判断是偶发异常、某类任务集中失败，还是整体行为发生变化。

## 稳定样例与新问题应同时存在

稳定样例用于观察原有能力是否退步，近期困难任务用于反映业务变化。只使用旧测试集，可能看不见新需求；只使用新样例，又难以判断长期趋势。

样例也需要维护。已经失效的业务规则应标明历史性质，不宜继续作为现行正确答案。评价标准的变化同样需要记录，避免分数变化只是因为尺子换了。

| 观察对象 | 维护作用 |

| --- | --- |

| 稳定任务 | 保护已经验证的能力 |

| 近期困难 | 发现输入与需求变化 |

| 依赖记录 | 定位模型、工具和资料差异 |

| 人工反馈 | 确认真实工作中的影响 |

## 改进动作应与原因对应

资料过期先更新来源，结构不符先检查约束，模型能力不足再比较替代方案。不要用越来越长的提示词掩盖所有问题，这可能增加新的冲突。

企业选型不是一次决定之后永久结束的采购动作。持续评价让选择可以被修正，也让团队在技术变化中保留自己的判断标准。

## 保留稳定题，也补近期困难题

一次表现退步先记录输入、模型、提示、工具与资料版本，再定位变化原因。修复后用两组题比较，范围与未解问题一起报告；模型可返回内容不代表原业务标准仍满足。

## 参考来源

- [n8n Docs｜为什么需要评估 AI 工作流](https://docs.n8n.io/build/integrate-ai/test-and-improve-ai-workflows/understand-why-to-test)：利用固定样例比较输出与回归变化

- [Anthropic｜Prompt engineering overview](https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview)：明确成功标准后改进提示

## 变化发生后先定位

- 保留样例：稳定任务与近期困难

- 核对依赖：模型、提示、工具和资料

- 按因调整：验证修订与恢复效果

![变化发生后先定位](/images/guides/diagrams/model-drift.svg)

## 继续阅读

- [智能体版本管理：一次提示词修改，也是一项产品变更](/guides/agent-versioning)

- [智能体和工作流怎么测试？把失败样例保留下来](/guides/workflow-evaluation)

- [企业模型路由：统一入口之后，如何保持质量一致](/guides/model-router)

分别核对学习、企业建设和阶段评审证据；秩启标准属于品牌自身评价依据。

下一步：[查看成果与证据标准](/standards)

原文：/guides/model-drift

内容版本：guide:model-drift:v1

<!-- version:guide:model-drift:v1 -->

[结合企业情况咨询](/intake?source=%2Fguides%2Fmodel-drift&articleId=guide%3Amodel-drift&versionId=guide%3Amodel-drift%3Av1)