AI Agent 如何测评？7 个指标判断它是否真的能完成工作

先说结论：不要只测回答，要测完整任务和最终成品

测评 AI Agent，最容易犯的错误是只输入一个问题，再根据回答是否流畅打分。

真正的工作型智能体需要处理文件、执行多个步骤、核对结果并交付成品，因此更合理的评估对象应该是一项完整任务。

一套实用的 AI Agent 测评至少要看 7 个指标：

1. 任务完成度
2. 事实与来源准确性
3. 数据一致性
4. 交付物可用性
5. 执行稳定性
6. 人工干预程度
7. 边界意识

企业还可以记录完成时间与资源消耗，但不能只用“速度快”代替质量判断。

为什么“回答看起来不错”不等于任务完成

一个回答可以语言通顺，却遗漏一半要求；一份报告可以排版漂亮，却引用了无效来源；一个 Excel 可以打开，却把空白值当成 0，导致合计错误。

工作型 AI Agent 的价值不在于多说几句话，而在于能否把输入材料转化为可核对、可编辑、可继续使用的成果。

因此，测评应从聊天窗口向外延伸到过程记录、数据表、来源清单和最终文件。

指标一：任务完成度

任务完成度检查智能体有没有真正覆盖用户提出的全部要求。可以先把任务拆成清单，再逐项确认。

例如，一个竞品分析任务可能要求搜集官方资料、比较功能与价格、标注来源、形成对比表、写结论并输出 Word 和 Excel。

智能体只写出一段结论，即使内容不错，也不能算完成。

建议分别记录“已完成”“部分完成”“未完成”和“因输入缺失无法完成”，避免用一个模糊总分掩盖关键缺口。

指标二：事实与来源准确性

只要任务涉及产品信息、价格、政策、研究或外部资料，就要检查每项事实是否有来源，以及来源是否真的支持对应结论。

测评时可以抽查：

• 链接能否打开；
• 页面是否为官方来源；
• 访问日期是否记录；
• 引用是否保留原文条件；
• 找不到依据的内容是否被标记为“待确认”。

对用户访谈等内部材料，也可以检查结论能否回到受访者编号和原文位置。

指标三：数据一致性

涉及 Excel、财务数据、运营报表或表格提取时，不能只抽查几行外观。

需要检查记录数、合计、比例、正负号、单位和公式是否一致。

例如，多份 Excel 合并后，可以验证“原始记录数减去删除记录”等于清洗后记录数；各门店、月份和渠道汇总的总金额应该回到同一个明细合计。

PDF 表格转 Excel 时，还要区分空白、0 和不适用，保留脚注和单位。

指标四：交付物可用性

很多智能体演示停留在“已经生成文件”，但文件能生成不代表能使用。

Word 要检查标题层级、表格和分页；Excel 要检查数据类型、公式、筛选和图表；PPT 要检查文字是否溢出、图表是否清晰、页面是否可以继续编辑。

还要确认交付物是否符合原任务的使用对象。管理层摘要、执行清单和完整研究报告的结构不同，不能用同一个模板应付所有场景。

指标五：执行稳定性

真实工作经常包含大文件、网页失败、缺少字段、网络波动和中途修改要求。

测评 AI Agent 时，应观察它在出现异常后是否能说明问题、保留已有进度，并从合理位置继续。

可以使用同一任务重复测试，比较结果是否保持核心事实一致；也可以故意加入一个失效链接、一份格式异常的文件或一项缺失输入，观察智能体是否会隐瞒问题。

指标六：人工干预程度

人工参与不是越少越好。

高风险判断、业务口径和最终发布本来就应该由人确认。真正需要记录的是：智能体在哪些步骤需要帮助，这些帮助是合理审批，还是因为执行能力不足而被迫接管。

可以分别统计：

• 任务开始前的必要说明；
• 执行中的澄清；
• 错误修复；
• 人工补做；
• 最终审批。

这样比简单记录“是否有人参与”更有意义。

指标七：边界意识

可靠的 AI Agent 不应该在证据不足时强行给出确定答案。

测评中要专门设置缺少来源、信息冲突和专业判断题，检查它是否主动标注限制。

法律、医疗、金融和安全等高风险任务尤其需要明确边界。智能体可以整理条款差异、计算数据和汇总来源，但不能把这些过程直接包装成法律意见、诊断或投资建议。

怎样设计一组有效的 AI Agent 测试任务

不要只挑最容易成功的任务。建议至少准备四类测试：

1. 规则明确的基础任务：检查文件读取、格式转换和固定输出是否稳定。
2. 多材料综合任务：检查能否在多个 Word、Excel、PDF 或网页之间建立联系。
3. 含冲突和缺失的任务：检查是否保留不同观点并标记待确认问题。
4. 需要成品的长任务：检查是否能从材料一直推进到可用的 Word、Excel 或 PPT。

每个任务都应事先写明必需交付物、关键事实、允许误差、禁止事项和人工确认点。

没有清晰标准，就无法判断智能体究竟做得好不好。

用这 7 个指标怎么看 AutoClaw

AutoClaw 面向的是完整工作任务，因此测评重点也应该放在真实交付物，而不只是对话回答。

官网已有案例提供了几种检查方式：

• 多个 Excel 合并：检查记录数桥接、重复处理和汇总金额是否一致。
• 用户访谈分析：检查每条结论能否回到访谈编号和原文证据。
• PDF 表格转 Excel：检查跨页表格、多级表头、单位和空白值是否正确保留。
• 竞品分析：检查官方来源、价格信息、访问日期和报告结论是否相互对应。

这些案例展示的不是一个统一分数，而是不同任务应该怎样验收。

评估 AutoClaw 时，也应根据自己的真实工作建立测试集，而不是只参考一段演示视频或一句产品介绍。

一份可以直接使用的测评记录表

=