返回现场笔记

FIELD NOTE / 场景与价值判断

如何判断 Agent 是否真的在降本增效?

“降本增效”不是使用感受,而是一个需要基线、对照和完整成本口径支持的结论。上线前必须先记录原流程的人工时间、交接次数、周期、返工率、错误率和处理量。

不要只看调用量,要同时收集五类证据

调用量只能说明系统被打开过,不能说明流程已经改变。真实评估需要同时观察采用、效率、质量、安全和最终业务结果。

  • 采用:是否进入真实工作,符合条件的任务有多少实际使用,用户是否重复使用。
  • 效率:端到端周期、人工操作时间、等待、交接、返工和相同人力下的处理量。
  • 质量:首次通过率、错误率、遗漏率、返工率和人工修改幅度。
  • 安全:失败任务、越权尝试、错误工具调用、重试、人工升级和重大异常。
  • 业务结果:积压、响应时间、转化、客户体验、回款周期或风险损失是否改变。

按合格完成的任务计算真实单位成本

单位成本应当等于模型与工具、基础设施、运维、人工审核、返工升级和失败损失的总和,再除以通过质量标准并真正完成业务目标的任务数。分母不能使用 Agent 运行次数,否则低价但大量失败的系统会被错误判断为高效率。

评估可以使用同期对照、分批上线或上线前后比较,但样本需要覆盖日常任务与典型异常,并保持相同质量口径。更快不自动等于更好;如果生产时间下降但审核与修正增加,两部分都必须计入。

真正的降本增效需要同时满足三个条件:总成本下降或相同资源承担更多有效工作;质量与风险没有因提速恶化;改善能够在真实流程中持续出现。

判断一个问题