首页 / 新闻动态 / 行业观点
行业观点

Agent Arena 拆出分项指数,企业怎样用榜单筛选智能体

工作、编程与对话分别有了指数,任务结果、纠偏和工具使用也可单独查看。试用名单可以参考分项,最终选择取决于实际交付和修订成本。

本文发布:2026.11.20墨客云编辑部5 分钟阅读

公开动态与原创分析 · 消息日期: · 消息来源

在助手第一次交付采购对比表后,采购员发现其中一家供应商报的是未税价,要求把各家报价换算到同一条件。假设中的这项任务有两个可分别观察的结果:第一版是否完整,以及指出问题后能否只改受影响的字段并保持证据可追溯。假如两款助手的首稿质量接近,修订表现可能决定采购员当天能否发出评审材料。

AI 主题示意。三张印样表现同一批评估材料可从不同任务角度阅读。
AI 主题示意。三张印样表现同一批评估材料可从不同任务角度阅读。

11月18日,Arena 把 Agent Arena 更新为综合指数,并新增工作、编程、对话、任务结果、纠偏和工具使用六项指数。原有 Alignment Index 与综合指数并列。Arena 在公告中称综合指数覆盖其平台超过290万次用户会话。这是发布方对其样本规模的描述,适用于理解该榜单的测量范围。会话来自 Arena 自己的 Agent Mode,任务分布、工具环境及用户能给出的反馈,与采购部门实际条件可能不同。

分项指数测量了什么

工作、编程和对话指数按任务类别区分,使用任务完成、表扬或投诉、接受用户纠正、Bash 可靠性等信号。结果指数汇总任务完成与用户反馈,纠偏指数聚焦用户提出修改后发生了什么。当前工具使用指数的信号是 Bash 可靠性。企业若在意某个 ERP 接口能否按预期处理异常,同一个工具指数只能提示进一步比较的方向,实际接口仍需要自己的测试场景。

还有两个容易混读的细节。任务完成只计入用户在弹窗明确回答完成或未完成的任务。纠偏分会奖励无须更正的轮次,也会对同一问题重复更正增加负担。因此,工作指数靠前可以作为入围依据,现场仍要专门安排一次必须修订的任务。否则,普通场景中较少被纠正的优势,可能掩盖复杂修改需要重做的问题。

Arena 早期方法文档解释了平台通过随机分配组件,估计主模型等选择对结果的贡献。这样的设计能在 Arena 的工作环境中为模型差异提供依据。企业换用自己的检索系统、工具协议和审批方式后,同一模型看到的材料、可采取的动作和失败后的恢复方法都会变化。购买的是一套能交付工作的应用,供应商在什么运行环境里提供服务,与选择哪个模型同样值得问清。

此次更新更改了分数缩放,并在相邻版本之间用持续出现、样本较多的模型作为锚点。Arena 表示缩放本身保持排序。分数变化要结合方法和样本日期理解,尤其是这次还移除了调用不存在工具的信号。管理者可保存选型当天的指数、模型版本与测试范围。几周后若重做比较,就能核对变化来自自家流程、候选版本,还是榜单规则和样本发生变动。

用采购比价表检验交付与修订

回到开头的假设。为所有候选准备同一批历史脱敏报价,提供一致的汇率、税率和字段说明。在同一轮先看表格是否保留了币种与含税状态,再给出预先写好的修订指令。可以安排一份税率未知、只能标注待确认的报价,观察模型在补齐其他材料时是否牵连这一字段。还要核对修改后的表格能否找到原始页码,以及给评审汇报的结论有没有同步更新。

对有固定模板的团队,评估重点可以更简单。已验过的公式负责计算和检查金额,助手负责找价格、单位及条款对应位置。若模型擅长更正解释,但会改动已经确认的计算区域,就把这类区域留给受控的表格逻辑,并检查助手生成的建议是否便于人工应用。只有交付涉及多份来源、要求常变或要跨系统协调时,才值得为多轮纠偏能力支付更高的成本。

结果可以按首次合格、修订后合格和仍需人工重做分别记录,并把审查时长和错误后果放在一起比较。对每月处理少量关键物料的团队,一次严重错价可能抵消多笔任务节约的时间。对大量标准报价,常规通过率和每笔可用交付的成本更能决定采用范围。候选排序可能因此随任务变化,企业可以保留两个都适合的候选,按任务的审查成本选择使用。

公开指数适合在试用前缩小搜索范围。确定投入金额时,采购部门需要看到候选在自己的输入和约束下如何完成首次交付、处理一次可追溯的修订,以及留下多少人工工作。只要能用少量实物样本回答这几个问题,榜单就完成了筛选任务。

消息来源

  1. Arena, Introducing the Agent Arena Index

    原文发布: · 查阅日期:

  2. Arena, Agent Arena methodology

    原文发布: · 查阅日期:

  3. Arena, Agent Arena signals

    查阅日期:

本页内容由 墨客云AI(南京薄幕软件科技有限公司)发布与维护。 咨询与场景诊断预约:180-1290-1065 ·

将同类做法用于本单位的业务流程

线上进行,约 45 分钟。诊断内容包括业务流程衔接问题定位、适用数字员工建议与验收标准,首次不收费。

预约场景诊断