公開動態與原創分析 · 消息日期: · 消息來源
採購人員收到供應商比價表後,發現其中一家報的是未稅價,因而要求助理統一比較條件。這個假設情境可以觀察兩件事。第一版是否完整,以及修正要求提出後,能否只調整受影響的欄位並保留資料出處。如果兩個候選工具的初稿品質相近,修訂表現就可能影響評審資料能否在當天送出。

11月18日,Arena 更新了 Agent Arena 綜合指數,並新增工作、程式開發、對話、任務結果、依指示修正及工具使用六項指數。既有 Alignment Index 與綜合指數並列。Arena 公告稱整體指數涵蓋平台超過290萬次使用者工作階段。這個數字說明發布者的樣本範圍。資料來自 Arena 的 Agent Mode,任務分布、工具環境與使用者能提供的回饋,可能與企業內部不同。
分項的觀察對象
工作、程式開發和對話按任務分類,使用完成狀態、稱讚或抱怨、接受使用者修正,以及 Bash 可靠性等訊號。結果指數結合任務完成與使用者回饋,修正指數關注使用者提出更改後的結果。工具使用指數目前以 Bash 可靠性為訊號。若要了解特定 ERP 介面如何處理錯誤,企業可用指數縮小候選範圍,再用實際介面及案例測試。
閱讀分數時還有兩個細節。任務完成只計入使用者在彈窗明確回答完成或未完成的工作。修正指數會給無須更正的輪次正向權重,同一問題反覆更正則代表較高負擔。工作指數靠前可作為入圍依據,試用時仍要安排一次必須修訂的工作,才能看出複雜變更會花多少時間。
Arena 的早期方法文件說明,平台將部分元件隨機分配,估計主導模型等選擇對結果的影響。這為 Arena 環境內的比較提供依據。改用企業自己的檢索系統、工具協定與核准方式,模型看到的資料、可採取的動作及失敗後的復原路徑也會變動。選購智慧代理時,供應商的實際執行環境應與模型版本一起確認。
這次也改了分數的縮放方式,並用相鄰版本都存在、樣本較多的模型校準。Arena 表示縮放本身維持排序。要理解分數變化,可同時保留方法與樣本日期,尤其這次也移除了呼叫不存在工具的訊號。試用時留下指數、候選版本和測試範圍,日後便能追查差異來自內部流程、模型更新,還是榜單規則及樣本變動。
用自己的報價測試候選工具
延續前面的假設。給每個候選相同的去識別歷史報價、匯率、稅率及欄位說明。先核對首稿能否保留幣別與含稅狀態,再給出事前寫好的修改指示。可安排一份稅率未知而須標為待確認的報價,看看更新其他資料時是否誤改該欄位。也要確認修訂後的資料仍可找到來源頁面,摘要中的結論同步更新。
固定範本可以採更簡單的做法。已核驗的公式負責計算及金額檢查,助理負責查出價格、單位與條款位置。若模型能修正說明,卻會改動已確認的計算區,可讓該區由試算表規則控制,並觀察助理給出的建議是否方便人工套用。需要查多份來源、經常調整要求或跨系統協作的工作,才更有理由為多輪修正投入成本。
結果可記錄首稿合格、修訂後合格及須重做三類,再一起比較審查時間與錯誤後果。每月只處理少量關鍵物料的團隊,單次嚴重錯價可能抵銷幾筆工作的時間收益。大量標準報價則更適合觀察一般通過率與每筆可用交付成本。任務不同,候選排序可以不同,企業也可按各項工作的審查成本使用適合的候選。
公開指數適合在試用之前縮小搜尋範圍。做預算決定時,採購團隊需要看見候選能否依自己的資料和限制完成初稿、進行一次可追溯的修訂,以及還有多少工作要由人員處理。當少量實物樣本已可回答這些問題,榜單就已發揮篩選作用。
消息來源
- Arena, Introducing the Agent Arena Index
原文發布: · 查閱日期:
- Arena, Agent Arena methodology
原文發布: · 查閱日期:
- Arena, Agent Arena signals
查閱日期:
墨客雲編輯部 · neo@mokyun.com
