评测 Agent:看日历的终态,不看它说了什么

一句话价值:验收标准从对话看起来对,改成结果真的发生了
亮点:故障注入 + 终态校验,而非检查对话记录

为什么值得关注

这是评测思路的一次纠偏:Agent 说自己订好了会议,和你日历里真的出现那个会,是两件事。它用终态校验加故障注入来测真实可靠性。这套思路对任何准备上线的 Agent 都适用。

和我们的判断的关系

与「Agent 逻辑」的判断一致:自主代理的验收核心是验收成本。先定义清楚什么叫成功(终态),再让 Agent 去做,否则你连它到底做没做到都不知道。