公开动态与原创分析 · 消息日期: · 消息来源
腾讯在11月16日发布混元 Hy4 flash 并介绍托管入口,11月18日对外宣布开放权重。官方仓库列出指令版、FP8 量化指令版和预训练基座,提供 Hugging Face、ModelScope 和 GitCode 入口。模型可接收文本与图像并生成文本,官方文档列出的上下文上限约为100万 token。对准备在内部处理文档和图片的团队,这次新增的是企业可自行选择运行环境和权重版本。

第一次看参数表,容易把约120亿激活参数理解成一台能跑120亿参数模型的机器就够用。腾讯发布稿按2240亿总参数介绍产品,当前代码仓库按约2200亿描述所列模型,并分开列出主干、Engram、视觉编码器和推测解码组件。两处文档所列总数有差异,采购估算应落到确切下载版本的分片和所选引擎的加载行为。每个 token 只经过一部分专家,服务仍要为不同请求能走到的专家准备权重。
从权重文件估算服务容量
预算可以先从完整文件列表做起。下载体积帮助估算存储、分发和更新成本,设备内存还要考虑引擎如何放置权重、缓存中间状态与调度多个请求。官方给出的 FP8 多卡配方是一个配置实例。团队可以参考其中的并行方式和软件版本,再确认现有设备能否支撑预定任务,尤其是视觉输入和长材料同时出现时。
例如,假设一家配件企业要从工单附件提取铭牌型号,再按某一版手册生成供维修工程师核对的记录。这里的业务要求可以拆成两段。图像部分要识别型号的一位字符差异,文字部分需要引用正确的手册版本。工程师可以先测原始图片尺寸和常见拍摄质量,再测试同请求带入几页手册时的等待时间。整本手册往往可以先按型号检索,业务数据也会因此更易回到原页核对。
如果同一服务在早班接收成批照片,少量长请求可能抬高其他工单的等待时间。测试时宜记录长短请求混跑下的尾部延迟、排队与内存峰值。只跑一张清楚的照片可以验证安装和输出格式,容量预算需要包含低质量图片、高峰并发和长文失配后的重试。团队也可以将批量提取与交互核单分成两个队列,让第二类任务优先得到响应。
版本选择与可约定的交付
指令版是文档里用于对话和指令调用的候选。FP8 是其量化版本,适合在受支持的设备与引擎上比较资源占用和结果差异。基座主要面向有后续训练任务的团队,需要自行承担训练样本、评估和发布管理。若企业已有一套稳定的资料提取流程,可以用同一批图片和参考答案比较指令版与量化版,重点看易错字符、缺项和人工修改时间。
自托管让团队能固定模型和引擎版本,也把升级和故障恢复交到团队手中。实际交付至少要能说明模型文件来自哪次发布、量化版本怎样复现、升级失败时如何恢复,以及容器或下载缓存出问题时能否重新部署。面向外部客户开放接口时,还需要核对 Tencent Hy License 1.0。第10节定义了 MaaS 的范围、达到一定规模时需另行取得许可的条件,以及仅内部使用且相关内容不对第三方提供的例外。应按产品实际交付方式阅读原文。
先测交付最常卡住的环节,才容易决定自托管是否值得。如果当前托管入口已经满足资料要求,调用量又随项目波动,可以继续按量使用,同时保留同一组验收样本。若已有稳定流量、明确的数据边界和运维人员,开放权重才给了企业一个可认真比较的选择。比较表里最有用的是合格工单的完成时间、人工修正量和每月总成本,它们能共同说明模型版本与部署方式是否适合这项工作。
消息来源
本页内容由 墨客云AI(南京薄幕软件科技有限公司)发布与维护。 咨询与场景诊断预约:180-1290-1065 · neo@mokyun.com
