FIELD NOTE / 从 Demo 到生产
为什么很多 Agent 项目停留在 Demo?
因为 Demo 证明的是“它有一次可以做到”,生产系统需要证明的却是“它能够反复做对,出错时仍然可控,并且确实产生价值”。
Demo 与生产系统采用的是两套验收标准
Demo 通常运行在理想条件下:输入经过挑选、数据提前准备、流程只有一条正确路径,开发者还可以随时介入。真实业务则充满缺失信息、模糊需求、权限差异、系统超时、政策例外和意外行为。
很多团队把回答正确率、生成效果或工具调用成功当成最终指标,却没有验证工单是否真正解决、记录是否正确写入系统,或者员工是否愿意持续使用。Agent 产出了内容,并不等于流程完成了。
- 没有接入真实数据、权限和业务系统,Agent 只能停留在聊天窗口。
- 没有覆盖异常路径的评估集,团队只能在生产投诉出现后被动修补。
- 没有重试上限、人工审批和升级路径,所谓自主就会变成不可控。
- 没有流程负责人和持续采用机制,技术上线也无法进入日常工作。
从 Demo 走向生产需要补齐完整闭环
生产部署需要先定义业务结果和成功标准,再连接系统、编码权限与升级规则,运行真实案例和异常案例评估,进行受控上线并监测最终业务状态。Anthropic 也强调,Agent 的评估不能只看它声称完成了什么,而要检查真实或沙箱环境里的最终状态是否真的改变。
真正的分界线不是有没有 Agent,而是企业能否回答三个问题:它是否持续完成了真实工作?失败是否可发现、可恢复?产生的价值是否能够被证明?
