模型更新后为什么变了：持续评价比一次选型更重要

不要把所有变化都归因于模型

业务新增加了产品线，输入资料开始采用另一种格式，或者工具字段调整，都可能使原方案表现下降。即使模型没有更新，任务分布也可能已经改变。

可以在问题记录中保留时间、输入类型、所用配置和引用资料。对照这些信息，才能判断是偶发异常、某类任务集中失败，还是整体行为发生变化。

稳定样例与新问题应同时存在

稳定样例用于观察原有能力是否退步，近期困难任务用于反映业务变化。只使用旧测试集，可能看不见新需求；只使用新样例，又难以判断长期趋势。

样例也需要维护。已经失效的业务规则应标明历史性质，不宜继续作为现行正确答案。评价标准的变化同样需要记录，避免分数变化只是因为尺子换了。

改进动作应与原因对应

资料过期先更新来源，结构不符先检查约束，模型能力不足再比较替代方案。不要用越来越长的提示词掩盖所有问题，这可能增加新的冲突。

企业选型不是一次决定之后永久结束的采购动作。持续评价让选择可以被修正，也让团队在技术变化中保留自己的判断标准。

保留稳定题，也补近期困难题

一次表现退步先记录输入、模型、提示、工具与资料版本，再定位变化原因。修复后用两组题比较，范围与未解问题一起报告；模型可返回内容不代表原业务标准仍满足。