Agent Arena 新增分項指數,企業如何篩選智慧代理

工作、程式開發及對話各有指數,也可分別檢視任務結果、依指示修正與工具使用。可用分項縮小試用範圍,再以實際交付和修訂成本作決定。

本文發布: 2026-11-20墨客雲編輯部4 分鐘閱讀

公開動態與原創分析 · 消息日期: · 消息來源

採購人員收到供應商比價表後,發現其中一家報的是未稅價,因而要求助理統一比較條件。這個假設情境可以觀察兩件事。第一版是否完整,以及修正要求提出後,能否只調整受影響的欄位並保留資料出處。如果兩個候選工具的初稿品質相近,修訂表現就可能影響評審資料能否在當天送出。

AI 主題示意。三張印樣呈現同一批評估材料可以從不同任務角度觀看。
AI 主題示意。三張印樣呈現同一批評估材料可以從不同任務角度觀看。

11月18日,Arena 更新了 Agent Arena 綜合指數,並新增工作、程式開發、對話、任務結果、依指示修正及工具使用六項指數。既有 Alignment Index 與綜合指數並列。Arena 公告稱整體指數涵蓋平台超過290萬次使用者工作階段。這個數字說明發布者的樣本範圍。資料來自 Arena 的 Agent Mode,任務分布、工具環境與使用者能提供的回饋,可能與企業內部不同。

分項的觀察對象

工作、程式開發和對話按任務分類,使用完成狀態、稱讚或抱怨、接受使用者修正,以及 Bash 可靠性等訊號。結果指數結合任務完成與使用者回饋,修正指數關注使用者提出更改後的結果。工具使用指數目前以 Bash 可靠性為訊號。若要了解特定 ERP 介面如何處理錯誤,企業可用指數縮小候選範圍,再用實際介面及案例測試。

閱讀分數時還有兩個細節。任務完成只計入使用者在彈窗明確回答完成或未完成的工作。修正指數會給無須更正的輪次正向權重,同一問題反覆更正則代表較高負擔。工作指數靠前可作為入圍依據,試用時仍要安排一次必須修訂的工作,才能看出複雜變更會花多少時間。

Arena 的早期方法文件說明,平台將部分元件隨機分配,估計主導模型等選擇對結果的影響。這為 Arena 環境內的比較提供依據。改用企業自己的檢索系統、工具協定與核准方式,模型看到的資料、可採取的動作及失敗後的復原路徑也會變動。選購智慧代理時,供應商的實際執行環境應與模型版本一起確認。

這次也改了分數的縮放方式,並用相鄰版本都存在、樣本較多的模型校準。Arena 表示縮放本身維持排序。要理解分數變化,可同時保留方法與樣本日期,尤其這次也移除了呼叫不存在工具的訊號。試用時留下指數、候選版本和測試範圍,日後便能追查差異來自內部流程、模型更新,還是榜單規則及樣本變動。

用自己的報價測試候選工具

延續前面的假設。給每個候選相同的去識別歷史報價、匯率、稅率及欄位說明。先核對首稿能否保留幣別與含稅狀態,再給出事前寫好的修改指示。可安排一份稅率未知而須標為待確認的報價,看看更新其他資料時是否誤改該欄位。也要確認修訂後的資料仍可找到來源頁面,摘要中的結論同步更新。

固定範本可以採更簡單的做法。已核驗的公式負責計算及金額檢查,助理負責查出價格、單位與條款位置。若模型能修正說明,卻會改動已確認的計算區,可讓該區由試算表規則控制,並觀察助理給出的建議是否方便人工套用。需要查多份來源、經常調整要求或跨系統協作的工作,才更有理由為多輪修正投入成本。

結果可記錄首稿合格、修訂後合格及須重做三類,再一起比較審查時間與錯誤後果。每月只處理少量關鍵物料的團隊,單次嚴重錯價可能抵銷幾筆工作的時間收益。大量標準報價則更適合觀察一般通過率與每筆可用交付成本。任務不同,候選排序可以不同,企業也可按各項工作的審查成本使用適合的候選。

公開指數適合在試用之前縮小搜尋範圍。做預算決定時,採購團隊需要看見候選能否依自己的資料和限制完成初稿、進行一次可追溯的修訂,以及還有多少工作要由人員處理。當少量實物樣本已可回答這些問題,榜單就已發揮篩選作用。

消息來源

  1. Arena, Introducing the Agent Arena Index

    原文發布: · 查閱日期:

  2. Arena, Agent Arena methodology

    原文發布: · 查閱日期:

  3. Arena, Agent Arena signals

    查閱日期:

墨客雲編輯部 · neo@mokyun.com