假设你要给一个客服 Agent 做上线前的性能测试。压测跑完,接口成功率 100%,响应时间也达标,但业务方抽查发现:用户问“我的包裹到哪儿了”,Agent 没查物流,最终只回复了一句“请耐心等待”。这条请求,到底该不该算成功?
我觉得,这个问题得先说清楚。否则,后面压出再漂亮的数据,也可能回答不了业务方真正关心的事:业务量上来之后,这个 Agent 还能及时、准确地处理问题吗?能撑多少并发?每完成一笔合格业务,要花多少钱?
做接口压测,我们习惯看成功率、TPS、响应时间。这些指标到了 Agent 项目里依然有用,只是它们能回答的问题有限。用户等的是配送进度,测试记录的却可能是一次正常返回。流程已经结束,用户的事情还没办完。
所以你测的,和用户等的,可能压根儿不是一回事!

这个区别,会影响吞吐、容量和成本的判断。请求正常结束,却没办成事,时间和 Token 依然花掉了。所以企业要求 Agent 项目“快、稳、准、省”,得先约定:多久拿到有效结果,什么算一笔合格业务,成本按什么口径计算。标准明确了,压测和验收才有依据。
标准定清楚之后,还得找到影响表现的原因。模型耗时最长,就该换模型?结果合格率下降,就该改提示词?并发上不去,就该扩资源?这些解释都值得验证,难的是从数据里找到证据,判断到底该改哪里。

高楼在一篇文章里提到过一个经历:并发还没到设计峰值,合格率已经从 100% 掉到 90%,接口错误率却是零。追查到最后,问题出在自己的压测脚本上。这个例子让我印象挺深,因为异常确实存在,数据也摆在那里,但如果没有继续核对执行过程和结果,很可能会在错误的方向上忙很久。
也是顺着这些问题,我去看了高楼新课的《Agent 性能测试实战 30 讲》。发现他此前写过《性能测试实战 30 讲》《高楼的性能工程实战课》《全链路压测实战 30 讲》我竟然都看过😂!!!

尤其这次的《Agent 性能测试》把企业 Agent 应用性能测试、分析与优化的经验,放进了一个完整的客服工单项目。

首发 7 折,立减 ¥39
扫码「免费」试读
这门课的安排里,我比较看重项目的连续性。用户查询配送进度,Agent 查询后给出答复,业务容易理解,但测试工作要从需求一直做到验收。先把“快、稳、准、省”变成具体要求,明确测试范围,准备数据和环境;再设计基准、容量、稳定性、异常四类场景,编写流式压测脚本,执行测试并保留原始记录。
有了这批数据,后面才进入分析、优化和回归。前面定下的指标要在最后核验,前面设计的场景要能产出分析所需的数据。很多知识点单独看都能理解,真正困难的是把它们接起来:需求怎样决定场景,数据怎样支撑结论,结论又怎样进入验收。同一个项目贯穿,能把这些关系展示得更清楚。

我最想看的,是中间这七讲
第 14—20 讲,把分析过程展开成七步:读压力曲线、标高风险路径、拆业务时延、用全局观测缩小范围、用 Trace 与 Eval 验证假设、判定瓶颈,最后完成优化与配对复测。这七讲会使用前面项目产出的同一批数据,一步步往下分析。

我觉得分析方法最值得学的,就是判断形成的过程。为什么从这里开始怀疑?凭什么缩小到这个范围?哪条证据支持了结论?还有没有其他解释?能跟着同一批数据检查这些问题,比记住几个常见瓶颈更有帮助。
单智能体分析做完,同一个业务,还会经历两次架构升级,升级为多智能体、工作流结合 RAG,验证架构变化后哪些测试资产能复用、哪些场景需要补测。最后再讲工具选择、上线验收和持续评估,把一次测试逐步沉淀成团队可以沿用的方法。
这样看下来,30 讲交付的是一条完整路径:从业务要求出发,采集数据、分析问题,最终拿出有依据的上线结论。
前 7 讲建立成功判定、指标、基线和并发口径,第 8—13 讲进入项目准备与压测,第 14—20 讲集中做分析优化,第 21—24 讲处理架构升级。最后几讲再讨论工具组合、两周 MVP、上线验收,以及运行后的测试体系如何演进。
具体可以看课程目录👇

配套资料,决定了你能怎样跟练
课程准备了项目代码、245 条版本化工单样本,以及对应的订单和物流快照,还有可运行的压测脚本、实测实验记录、压测报告与验收模板。指标字典和 SLO 卡片,则可以用来参考怎样明确指标口径、记录达标要求。
对这类工程课,我比较看重能不能自己验证。读懂结论之后,还能回到数据里核对,看看每一步依据在哪里;调整条件后,再检查原来的判断是否成立。有代码、样本和实验记录,才方便把这一步做下去。
当然,课程中的具体标准需要结合自己的业务调整。客服工单的成功要求,不能直接搬到退款审批或其他流程里。但定义业务标准、设计实验、组织证据和验证优化的方法,可以迁移到不同项目。
如果你已经会做接口压测,正准备开展 Agent 性能项目,或者应用已经跑起来,接下来需要回答容量、质量和成本的问题,可以先看看这门课的开篇与目录。技术、测试负责人如果正在建立上线标准和持续评估机制,也可以重点关注课程后面的验收与门禁部分。

首发 7 折,立减 ¥39
扫码「免费」试读
高楼有句玩笑话:“上线不死,死了不收钱。”放到 Agent 项目里依然算数,只是要把“不死”证明出来,需要的证据链跟以前不一样了。
下次有人问“这个 Agent 性能行不行”,希望你拿出的是数据和证据链,结论能打钩,而不是一句“我觉得应该没问题”。