大模型之外：Agent 框架的评测体系搭建指南（关注用户名）

大模型评测已经相对成熟，但 Agent 框架的评测不能简单套用模型基准。Agent 的能力不只来自模型，还来自工具调用、任务规划、记忆管理、错误恢复、权限控制和人机协作。只测模型回答质量，会掩盖框架层的真实缺陷：工具选错、参数传错、多步任务中途迷失、失败后不会重试、越权操作、成本失控。搭建 Agent 评测体系，核心是把“模型之外的工程能力”变成可测量、可复现、可回归的指标。

一、先定义评测对象和边界。 评测对象不是单一模型，而是“模型+提示词+工具集+编排逻辑+运行时环境”的整体。要明确评测范围：是单轮工具调用，还是多步任务完成；是只读查询，还是包含写操作；是单 Agent，还是多 Agent 协作。边界不清，评测结果就无法归因。建议按能力分层：基础工具调用、多步规划、长任务记忆、异常恢复、安全合规、协作效率。每层单独设任务集，避免一锅乱炖。

二、任务集要贴近真实工作流。 不要只用问答式样本。Agent 评测任务应包含：需要选择工具的任务、需要组合多个工具的任务、需要中途修正计划的任务、信息不完整需要追问的任务、工具返回异常需要重试的任务、存在诱饵工具和干扰信息的任务。任务要有明确成功标准和可自动判定的结果。对于开放性任务，采用评分器加人工抽检，评分器要能检查最终状态、调用轨迹和中间产物，而不只是最终文本。

三、环境必须沙箱化、可复现。 Agent 会执行真实操作，评测环境要提供隔离的工具服务和模拟数据，支持重置和快照。每次评测记录模型版本、提示词版本、工具版本、环境配置和随机种子。没有可复现性，失败就无法定位。沙箱还要能注入故障：超时、限流、返回脏数据、权限拒绝，用来测试 Agent 的恢复能力。真实环境评测可以作为补充，但不能替代可重复的沙箱评测。

四、指标要覆盖结果、过程与成本。 结果指标包括任务完成率、答案正确率、最终状态合规率。过程指标包括工具选择准确率、参数正确率、规划步数、无效调用率、重试成功率、越权尝试次数。成本指标包括 token 消耗、工具调用次数、端到端延迟。安全指标包括敏感信息泄露、危险操作拦截、提示注入抵抗。协作场景还要看任务分解合理性和冲突解决效率。指标要分层报告，避免一个总分掩盖局部短板。

五、建立基线、回归和红队机制。 每次框架变更、提示词调整、模型升级都要跑回归集，对比基线指标。回归集应包含历史失败案例和边界案例。红队评测专门构造对抗任务：诱导越权、伪造工具返回、长上下文干扰、多轮欺骗。红队结果不追求通过率，而要求可解释的失败模式和改进项。评测报告要能定位到具体能力层和具体任务类型，而不是只给排名。

六、评测流程要工程化。 任务管理、环境编排、执行调度、评分、报告生成应形成流水线。支持批量运行、并行隔离、失败重跑和人工复核。评分器要版本化，避免评分标准漂移。对写操作类任务，必须检查副作用和回滚能力。人工抽检用于校准自动评分器，不能完全替代自动评测，也不能完全依赖人工。

七、避坑清单。 不要用模型基准代替 Agent 评测；不要只测最终答案而忽略调用轨迹；不要在没有沙箱的情况下评测写操作；不要用不稳定环境得出确定结论；不要只报平均分而隐藏长尾失败；不要忽视成本和延迟；不要一次改多个变量导致无法归因；不要缺少失败案例库。

Agent 框架的评测，本质是把“模型之外的工程可靠性”变成可度量的能力。任务真、环境稳、指标全、基线清、回归勤，才能让 Agent 从演示走向生产。

本作品采用《CC 协议》，转载必须注明作者和本文链接