公开动态与原创分析 · 消息日期: · 消息来源
百度于 11 月 5 日发布 ERNIE 5.5 Flash Base 的 FP8 和 BF16 权重。技术说明把这次发布定位在预训练结束处,后训练版本将另行推出。对正在做内部知识问答的企业,这个区别直接影响项目安排:选用这份权重,意味着团队还要决定怎样把模型训练成能按要求做事的助手,以及靠什么证据判断训练值得继续。

模型卡列出的总参数是 2800 亿,每个 token 激活约 140 亿。稀疏专家架构会为每个 token 选择部分专家,每一步只计算模型的一部分,但 140 亿描述的是激活规模。做部署预算时,仍要核对整套权重如何分布、精度格式和推理框架怎样配合,以及高并发和长请求会占用多少内存。百度提供了 vLLM 和 SGLang 的使用说明,企业需要在预定环境里测算实际吞吐和成本。官方所列的最长约 100 万 token 上下文适用于微调和推理,容量本身也无法说明模型会从长材料中选对哪一页。
先确定错误发生在哪里
以售后服务团队准备保修答复为例。维修人员想知道一台设备能否免费更换部件,输入包括型号、购买日期和故障描述,答复要能追溯到适用条款。若知识库同时收录当前政策和上一年度政策,模型可能准确摘录旧版承诺,却给出错误结论。先按型号、地区、生效时间检索,并在答复草稿中附上版本和条款,通常比把更多文档塞进提示词更容易定位这个错误。
另一种情况是,模型已经看到了正确条款,也知道哪个版本有效,却反复把例外条件当成一般规则。团队可以先用同一组证据,比较成熟的指令模型加少量示例、明确的规则校验,以及经过训练的候选模型。把每份答复拆成几项核对:选对条款、满足适用条件、材料不足时保留疑问。若训练后的提升只出现在与训练集措辞相同的样本上,换一个产品系列就消失,收益很可能来自记住措辞。留出未参与训练的产品和后续版本,更容易判断能否迁移。
对退换货期限、金额上限这类可以按字段计算的条件,业务规则往往更便宜,也更方便在政策变更时更新。训练更值得考虑的,是输入表述很不一致、需要反复识别相似业务意图或组织固定格式,而示例提示和规则已难以稳定处理的那部分工作。即便决定训练,也宜把政策文本保留在可替换、可追溯的资料库里。频繁变动的内容进入权重后,每次政策修订都要重新验证模型回答,业务人员也很难指出依据来自哪份文件。
一次试验应当回答的成本问题
模型团队可以先冻结一组历史咨询和当时有效的条款,用同一份材料比较现有方案与候选方案。问题应包括资料齐全的常见请求,也要覆盖版本冲突、型号缺失和条款未规定的情况。比较时除了看正确率,还要记录一份草稿需要多少人工补查、是否擅自承诺赔付,以及后续核对能否复现证据。这样既能发现内容答错,也能发现一个表面正确的答案为何难以使用。
还有一项成本容易被低估:把真实咨询做成可训练样本。用于训练的答复需要由业务人员确认适用范围,隐去不应使用的客户资料,还要保留无法判断的样本。若企业只有少量典型咨询,专家标注和复核的时间可能更适合用来补齐政策版本、建立明确的例外清单。若同类意图的表达差异大、量也足够,标注才有机会成为持续改善模型的投入。
知识整理并不依赖选定哪一个模型。墨客云官网的企业知识能力说明涉及企业资料、版本和来源引用,可用来讨论保修场景的资料准备和答复依据。若将来采用这份百度权重,仍需另行验证推理服务、模型行为和接入适配。范围较小的项目,可以先让知识检索返回条款与版本,由维修人员作决定,等到有足够多的稳定失败样本再讨论训练。
开放权重给团队增加了一个可以自行适配的起点。百度另行发布了模型许可。按许可文本,授权地域排除欧盟、英国和韩国,商业使用还涉及署名、通知或事先书面授权。立项时,应把使用地区、实际用途和分发方式交给负责许可审核的人确认。我们的建议是,先给训练一个具体任务和退出条件:在相同证据下,若它能在新产品和新版本上持续减少同类判断错误,且节省的复核投入能覆盖训练、部署和维护,再扩大投入。若主要问题仍在文件失效、标错版本或缺少关键字段,把预算用来整理资料会更直接。
消息来源
- ERNIE 5.5 Flash Base technical announcement
原文发布: · 查阅日期:
- ERNIE 5.5 Flash Base model card
查阅日期:
- ERNIE 5.5 Flash Base Model License Agreement v1.0
原文发布: · 查阅日期:
本页内容由 墨客云AI(南京薄幕软件科技有限公司)发布与维护。 咨询与场景诊断预约:180-1290-1065 · neo@mokyun.com
