公開動態與原創分析 · 消息日期: · 消息來源
百度於 11 月 5 日發布 ERNIE 5.5 Flash Base 的 FP8 和 BF16 權重。技術說明把這次發布定位在預訓練結束處,後訓練版本將另行推出。對正在做內部知識問答的企業,這個區別直接影響專案安排:選用這份權重,意味著團隊還要決定怎樣把模型訓練成能按要求做事的助手,以及靠什麼證據判斷訓練值得繼續。

模型卡列出的總參數是 2800 億,每個 token 啟動約 140 億。稀疏專家架構會為每個 token 選擇部分專家,每一步只計算模型的一部分,但 140 億描述的是啟動規模。做部署預算時,仍要核對整套權重如何分布、精度格式和推理框架怎樣配合,以及高並行請求和長文字請求會佔用多少記憶體。百度提供了 vLLM 和 SGLang 的使用說明,企業需要在預定環境裡測算實際處理量和成本。官方所列的最長約 100 萬 token 前後文適用於微調和推理,容量本身也無法說明模型會從長篇資料中選對哪一頁。
問題出在資料還是判斷?
以售後服務團隊準備保固答覆為例。維修人員想知道一台設備能否免費更換零件,輸入包括型號、購買日期和故障描述,答覆要能追溯到適用條款。若知識庫同時收錄目前政策和上一年度政策,模型可能準確摘錄舊版承諾,卻給出錯誤結論。先按型號、地區、生效時間檢索,並在答覆草稿中附上版本和條款,通常比把更多文件塞進提示詞更容易定位這個錯誤。
另一種情況是,模型已經看到了正確條款,也知道哪個版本有效,卻反覆把例外條件當成一般規則。團隊可以先用同一組證據,比較成熟的指令模型加少量示例、明確的規則檢核,以及經過訓練的候選模型。把每份答覆拆成幾項核對:選對條款、滿足適用條件、材料不足時保留疑問。若訓練後的提升只出現在與訓練集措辭相同的樣本上,換一個產品系列就消失,收益很可能來自記住措辭。留出未參與訓練的產品和後續版本,更容易判斷能否遷移。
對退換貨期限、金額上限這類可以按欄位計算的條件,業務規則往往更便宜,也更方便在政策變更時更新。訓練更值得考慮的,是輸入表述很不一致、需要反覆識別相似業務意圖或組織固定格式,而示例提示和規則已難以穩定處理的那部分工作。即便決定訓練,也宜把政策文字保留在可替換、可追溯的資料庫裡。頻繁變動的內容進入權重後,每次政策修訂都要重新驗證模型的回答,業務人員也很難指出依據來自哪份檔案。
如何評估訓練成本
模型團隊可以先凍結一組歷史諮詢和當時有效的條款,用同一份材料比較現有方案與候選方案。問題應包括資料齊全的常見請求,也要覆蓋版本衝突、型號缺失和條款未規定的情況。比較時除了看正確率,還要記錄一份草稿需要多少人工補查、是否擅自承諾賠償,以及後續核對能否重現證據。這樣既能發現內容答錯,也能發現一個表面正確的答案為何難以使用。
還有一項成本容易被低估:把真實諮詢做成可訓練樣本。用於訓練的答覆需要由業務人員確認適用範圍,隱去不應使用的客戶資料,還要保留無法判斷的樣本。若企業只有少量典型諮詢,專家標註和複查的時間可能更適合用來補齊政策版本、建立明確的例外清單。若同類意圖的表達差異大、量也足夠,標註才有機會成為持續改善模型的投入。
知識整理並不依賴選定哪一個模型。墨客雲官網的企業知識能力說明涉及企業資料、版本和來源引用,可用來討論保固情境的資料準備和答覆依據。若將來採用這份百度權重,仍需另行驗證推理服務、模型行為和系統串接。範圍較小的專案,可以先讓知識檢索返回條款與版本,由維修人員作決定,等到有足夠多的穩定失敗樣本再討論訓練。
開放權重給團隊增加了一個可以自行調整的起點。百度另行發布了模型授權條款。依條款所定義的地域,歐盟、英國與韓國不在範圍內,商業使用另有署名、通知或事前書面授權要求。開始專案前,應由授權審查的負責人確認使用地區、用途與散布方式。我們的建議是,先給訓練一個具體任務和退出條件:在相同證據下,若它能在新產品和新版本上持續減少同類判斷錯誤,且節省的複查投入能覆蓋訓練、部署和維護,再增加投入。若主要問題仍在檔案失效、標錯版本或缺少關鍵欄位,把預算用來整理資料會更直接。
消息來源
- ERNIE 5.5 Flash Base technical announcement
原文發布: · 查閱日期:
- ERNIE 5.5 Flash Base model card
查閱日期:
- ERNIE 5.5 Flash Base Model License Agreement v1.0
原文發布: · 查閱日期:
墨客雲編輯部 · neo@mokyun.com
