公開動態與原創分析 · 消息日期: · 消息來源
一位客戶請售後助理查發票是否開立,模型可能早已收到訂單、物流、發票、退貨及倉儲等數十個介面的參數定義。Google 於 11 月 19 日宣布在 Gemini Interactions API 預覽 Tool Retrieval。採伺服器端檢索時,模型仍會先看到延後載入的工具名稱與說明。選好工具之後,API 在同一次請求中載入完整參數定義,模型才提出呼叫。自訂函式仍由應用程式執行,再交回結果。參數定義包含需傳送哪些欄位、資料型別與必填項目,這些內容會占用上下文,但每次用到的可能只有少數。

官方文件要求使用 Interactions API 的 v1beta 版本,generateContent 介面不支援此項預覽功能。公告列出的適用模型為 Gemini 3.6 及更新版本。伺服器端也支援延後載入遠端 MCP 伺服器的工具。企業若有自建的工具目錄,可以改由用戶端檢索,由應用程式查出候選再送回,每次檢索會多一次往返。選擇的差別在於應用程式要自己決定哪些候選,以及這項決定需要付出多少時間與維護成本。
整段對話的工具成本
以售後助理為假設。若多數人只查訂單及發票進度,可以直接載入兩個常用工具,把較少用到的配送異常或電子發票補發功能延後。若已有規則能辨識某一類工單,也可把它分派到只提供少數固定介面的入口。工具名稱相似時,這樣做也更容易追查助理為何選錯系統。
成本取決於對話往哪裡走。客戶可能先查發票,接著補充地址有變,最後又追問舊訂單該由誰處理。模型可能在幾輪對話內陸續載入幾套定義。Google 表示檢索沒有單獨計費,但啟用後有少量固定輸入,已載入的定義在後續對話仍按輸入計費。技術文件另指出,每次伺服器端搜尋會在同一請求中增加一次模型呼叫,其額外輸入記在 total_tool_use_tokens。省下的未使用定義抵得過這些成本,延後載入才可能省錢。若常見對話最後都用到同幾項介面,先載入也可能比較方便重複利用相同的提示前綴。一筆短請求的節省量,難以代替整月的估算。
測試時可用同一批歷史案件,按入口、處理輪數及需要的工具數分組。比較固定清單及伺服器端延後載入,有明確需求時再測用戶端檢索。記下輸入用量和實際帳單,區分快取輸入及檢索輸入,並納入查無工具、重試與轉人工。等待時間應量到交付結果,包括額外往返及業務介面的耗時。若某個方案輸入較少,卻更常選錯同名工具,人工核對及重做就可能抵銷收益。可以一起看每筆正確辦結的成本和較慢案件的等待。
工具可見範圍與執行權限
在伺服器端進行檢索前,模型已收到工具說明。假如同一個目錄有按門市查公開庫存與按儲位查內部庫存兩個工具,把後者的參數定義延後,模型仍知道這個工具的名稱和用途。若門市人員只能看到前者,應用程式就得依身分先篩選可用工具。有租戶目錄的團隊可在應用層產生固定候選,也可用用戶端檢索只回傳當前身分允許的工具。當候選經常隨操作者或工作階段變動,額外的往返才更可能值得。
發現工具與執行工具各有要核對的事。假設有人從舊頁面要求補發電子發票,模型即使挑對工具,應用程式仍要讀取訂單現況、檢查操作權限、比對是否已補發,並取得必要確認。這些條件直接影響處理結果。試驗可以放入名稱相近的工具、同一客戶的多筆訂單和已處理的請求。追蹤紀錄應能看出找不到工具、選錯工具或應用程式依規則拒絕的差別,團隊才能判斷應修改工具目錄、說明或業務條件。
若工單分類清楚,每類只用幾項穩定的工具,固定清單可以省下預覽串接及排查檢索的工作。若追問經常跨系統,而且大部分對話只用到大型目錄的一小部分,才更值得試按需載入。用同一批工單比較,在權限和結果準確度都達標時,哪種做法支出較低,也讓等待較久的客戶更早拿到結果。
消息來源
墨客雲編輯部 · neo@mokyun.com
