公开动态与原创分析 · 消息日期: · 消息来源
一个售后助手可能接入订单、物流、发票、退换货和仓库系统。客户只想查发票是否开出,模型却可能在开始前收到几十套接口的参数定义。11 月 19 日,Google 宣布在 Gemini Interactions API 中预览 Tool Retrieval。采用服务端方式时,模型仍先看到延后加载的工具名和描述,选中工具后,API 才在同次请求内取出完整参数定义,让模型给出调用。业务应用仍负责执行自定义函数,并把结果交回。工具的参数定义说明要传哪些字段、接受什么类型和哪些值必填,它占用上下文,却未必每次用得上。

官方文档将预览限定在 Interactions API 的 v1beta 版本,generateContent 接口不支持。Google 公告列出的模型范围为 Gemini 3.6 及更新版本。服务端也支持延后加载远程 MCP 服务的工具。企业若维护自己的工具目录,可以改用客户端检索,由应用先查候选再把结果传回。这种方式为每次检索增加一次往返。两条路径的区别涉及应用掌握哪些候选,以及为了这个决定要增加多少运行成本。
按整段会话算工具成本
以售后助手为假设。若多数请求都只查订单或开票状态,可以让这两项常用工具直接出现在上下文里,把少见的配送异常查询或电子票据补发定义延后。现成规则能处理的一类工单,也可直接分到仅包含固定几项接口的处理入口。后者还能减少同义工具的竞争,易于定位接错系统的原因。
两种办法的成本差距要看会话走多远。用户先查发票,再补充收件地址变了,接着追问旧订单该找谁处理,模型可能在几轮内逐步加载多套定义。Google 说明检索无单独收费,但开启检索会增加一小段固定输入,已加载的定义在后续对话中仍按输入计费。技术文档还说明,每次服务端搜索会在同一请求内增加一次模型调用,其额外输入通过 total_tool_use_tokens 计量。少见接口一直用不到时,省下的内容才能覆盖这些开销。若每天的主流会话最后都会用到相同几套接口,放在前面还有可能更便于复用相同提示前缀。用一条短请求测出的省量,不能直接代入整月预算。
试验时可以把同一批历史请求按入口、处理轮数和所需工具数分组,比较固定常用清单、服务端延后加载,必要时再测客户端检索。保留每组输入和实际账单,其中区分已缓存输入和检索产生的输入,计入空检索、系统重试和转人工。等待时间记到可交付结果,包含那次额外往返和业务接口耗时。某个方案即使输入更少,若更常选错同名接口,核对和返工可能把收益吃掉。验收可以按每笔正确办结的成本与较慢一批请求的等待来判定。
候选范围与执行权限
工具描述在服务端检索之前已经进入上下文。假如同一目录有按门店查询公开库存和按仓位读取内部库存的接口,把后者的参数定义延后,模型仍知道这项工具存在。若门店人员不应看到内部工具的名字和用途,就要在向模型提供候选前按身份过滤。手里已有租户目录的团队,可以在应用层先选出允许的固定清单,也可让客户端检索只返回本身份当前能用的工具。后一种做法值得承担额外往返的前提,是候选确实随身份或工作阶段经常变化。
发现工具和执行工具由两个环节负责。举例说,用户根据过期页面申请补发电子票据,模型选对工具后,应用还要读取订单的当前状态,检查操作者权限和申请是否重复,经所需确认再提交。即便工具定义和服务端检索都正确,这些检查也影响业务结果。团队可以用相近名称、同一客户的多笔订单和已处理过的请求来试验。追踪信息能够区分工具没找到、工具挑错和应用按规则拒绝执行,便于分别修复目录、描述或业务条件。
如果工单分类清楚,每类只用少数稳定且熟悉的工具,保留固定清单可以省掉预览接入和检索排查的工作。需要跨多套系统追问、会话通常只用大目录里一小部分工具时,才更像值得用按需加载的场景。决定依据可以落在一个直观结果上。同一批工单,在权限和结果准确度都达标时,哪种办法花更少的钱、让等待最久的用户更早拿到办结结果。
消息来源
本页内容由 墨客云AI(南京薄幕软件科技有限公司)发布与维护。 咨询与场景诊断预约:180-1290-1065 · neo@mokyun.com
