代理评测体系爆发：从 Benchmark 到观测平台

AI 代理正在获得更长的执行周期和更强的工具能力，但评测它们却变得越来越困难。Palash Shah 在推文中直接指出，现代代理评测设计已经成为首屈一指的难题。

@palashshah: Called out the difficulty of modern eval design with longer-horizon, tool-rich agents.

Christopher Wolfe 则整理了一份当前代理评测基准的全景图，涵盖 Terminal-Bench、Tau-Bench、GAIA、WorkArena、OSWorld、MLE-Bench、PaperBench、GDPval 等多达十几个评测体系。

@cwolferesearch: Compiled a broad benchmark map spanning Terminal-Bench, Tau-Bench, GAIA, WorkArena, OSWorld, MLE-Bench, PaperBench, GDPval, and others.

在新提出的基准中，FutureSim 是一条值得关注的新思路：它通过按时间顺序重播真实世界事件，测试代理在原生的 Codex/Claude Code 宿主层中的持续更新和预测能力。这种基于时间线的基准设计比传统的静态问答更贴近代理在实际工作流中的表现模式。Nikhil Chandak 的后续评论补充了一个关键发现：在预测任务中，测试时计算也能优雅地缩放。

@nikhilchandak29: Argued that test-time compute scales gracefully in forecasting too.

在观测性基础设施方面，LangChain 本周发布了 Interrupt 系列公告，一口气涵盖 LangSmith Engine、SmithDB、托管 Deep Agents、沙箱、网关和上下文中心六大模块。Ankush Gola 特别强调了跟踪数据摄入的亚秒级中位写入延迟，称这是代理观测性的实用必备条件——如果跟踪系统本身就成了瓶颈，所有评测和调试都无从谈起。

@ankush_gola11: Emphasized sub-second median write latency for trace ingestion as a practical requirement for agent observability.

这一系列动态显示出一个清晰的趋势：代理评测已经从模型的离线分数比较，全面转向了在线观测基础设施的构建竞赛。FutureSim 代表着基准设计的演进方向，而 LangSmith Engine 则代表着观测平台的工业化路径。

分类：📊 研究/论文

本作品采用《CC 协议》，转载必须注明作者和本文链接