
要点
用一组包含正常、缺失、冲突和失败情况的输入,检查最终结果与执行过程。模型、提示或节点调整后复测同一组样例,并把新发现的问题加入其中。测试目标是发现真实限制,不是只展示成功结果。
让样例代表实际任务
一条简单输入只能说明某种情况可运行。增加长文本、多附件、错误编码和缺少必要信息等样例,检查流程是否合理停止、要求补充或交给人工处理。
每个样例记录预期行为,而不必要求生成文字逐字相同。可以检查字段是否正确、来源是否存在、是否调用了不该调用的工具,以及关键步骤有没有被跳过。
分别观察结果和执行
结果看起来正确,可能来自不合适的来源或越界操作。保留关键节点的输入输出与调用状态,便于理解错误发生在哪一步。测试数据应脱敏,并限制日志访问。
n8n 官方评估文档介绍了用数据集比较工作流输出的方法。团队可先从少量代表样例开始,再随实际运行积累扩展,不需要一开始追求复杂评分体系。
修改后检查已有能力是否退步
修复一个错误后,不只重跑该错误。原本正确的任务也要保留,以发现修改带来的退步。比较模型时保持任务、资料与判断标准一致,减少无关差异。
测试报告可以简短列出通过项、未解决问题和适用范围。样例数量有限时,不把通过率描述为对所有业务的准确率。能明确说出何时不能使用,也是交付质量的一部分。
测试既检查答案,也检查动作
同一批样例包含正常询盘、缺项、冲突、无权限与接口失败。逐题核对来源、状态、执行次数和最终产物;修改模型或流程后复测,并把新失败补入测试集。
参考来源
外部资料用于说明方法;具体功能、费用和许可条件以供应商现行说明及实际验证为准。
- n8n Docs|为什么需要评估 AI 工作流利用固定样例比较输出与回归变化