TMT观察网_独特视角观察TMT行业

【TechWeb】7月1日消息，按照計劃，6月30日百度正式開源文心大模型4.5系列模型。早在今天2月14日，百度就對這一開源做了預告。

此次百度開源的文心大模型4.5（ERNIE 4.5）系列模型包括47B、3B激活參數的混合專家（MoE）模型，與0.3B參數的稠密型模型等10款模型，并實現預訓練權重和推理代碼的完全開源。

ERNIE 4.5模型在Apache License 2.0許可下提供。該許可允許商業使用，但須遵守其條款和條件。

此外，百度還開源了文心大模型4.5的開發工具包ERNIEKit，它提供模型訓練和壓縮能力，包括預訓練、監督精細調整（SFT）、低秩適應（LoRA）、直接偏好優化（DPO）、量化軟件訓練（QAT）和訓練后量化（PTQ）技術。

目前，文心大模型4.5開源系列已可在飛槳星河社區、HuggingFace等平臺下載部署使用，同時開源模型API（應用程序編程接口）服務也可在百度智能云千帆大模型平臺使用。

英特爾已在第一時間實現對百度文心4.5系列端側模型的適配和在英特爾酷睿Ultra平臺上的端側部署。

同時，百度也放出了文心大模型4.5開源系列的技術文檔。一起看看。

文心大模型4.5的三個關鍵創新

1、多模態混合專家模型預訓練： 文心4.5 通過在文本和視覺兩種模態上進行聯合訓練，更好地捕捉多模態信息中的細微差別，提升在文本生成、圖像理解以及多模態推理等任務中的表現。為了讓兩種模態學習時互相提升，我們提出了一種多模態異構混合專家模型結構，結合了多維旋轉位置編碼，并且在損失函數計算時，增強了不同專家間的正交性，同時對不同模態間的詞元進行平衡優化，達到多模態相互促進提升的目的。

2、高效訓練推理框架： 為了支持 文心4.5 模型的高效訓練，我們提出了異構混合并行和多層級負載均衡策略。通過節點內專家并行、顯存友好的流水線調度、FP8混合精度訓練和細粒度重計算等多項技術，顯著提升了預訓練吞吐。推理方面，我們提出了多專家并行協同量化方法和卷積編碼量化算法 ，實現了效果接近無損的4-bit 量化和2-bit 量化。此外，我們還實現了動態角色轉換的預填充、解碼分離部署技術，可以更充分地利用資源，提升文心4.5 MoE 模型的推理性能。基于飛槳框架，文心4.5 在多種硬件平臺均表現出優異的推理性能。

3、針對模態的后訓練： 為了滿足實際場景的不同要求，我們對預訓練模型進行了針對模態的精調。其中，大語言模型針對通用語言理解和生成進行了優化，多模態大模型側重于視覺語言理解，支持思考和非思考模式。每個模型采用了SFT、DPO或UPO（Unified Preference Optimization，統一偏好優化技術）的多階段后訓練。

多項評測超Qwen3、DeepSeek-V3

ERNIE-4.5-300B-A47B-Base 在 28 個基準測試中的 22 個超越了 DeepSeek-V3-671B-A37B-Base，在所有主要能力類別中均有領先的表現。相對于其他SOTA模型，在泛化能力、推理和知識密集型任務方面的顯著提升。ERNIE-4.5-21B-A3B-Base 總參數量為 210 億（約為 Qwen3-30B 的 70%），在包括 BBH 和 CMATH 在內的多個數學和推理基準上效果優于 Qwen3-30B-A3B-Base。盡管ERNIE-4.5-21B-A3B-Base 更小，但模型效果突出，實現了效果和效率的平衡。

經過后訓練的 ERNIE-4.5-300B-A47B 模型，在指令遵循和知識類任務方面表現出顯著優勢，其在 IFEval、Multi-IF、SimpleQA 和 ChineseSimpleQA 等基準測試中取得了業界領先的效果。輕量級模型 ERNIE-4.5-21B-A3B 盡管總參數量減少了約 30%，但與 Qwen3-30B-A3B 相比，仍取得了具有競爭力的性能。

在非思考模式下，ERNIE-4.5-VL 在視覺感知、文檔與圖表理解以及視覺知識方面效果突出，在一系列基準測試中表現優異。在思考模式下，ERNIE-4.5-VL 不僅展現出比非思考模式更強的推理能力，還保留了非思考模式的強大感知能力。ERNIE-4.5-VL-424B-A47B 在各種多模態評估基準中均取得了突出效果。其思考模式在 MathVista、MMMU 和 VisualPuzzle 等高難度基準上具有明顯優勢，并在以感知為主的數據集（如 CV-Bench 和 RealWorldQA）上保持了不錯的效果。盡管使用顯著少的激活參數，輕量級視覺語言模型 ERNIE-4.5-28B-A3B 在大多數基準測試中，相較于 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，效果相當甚至更優。此外，文心4.5輕量級模型也同時支持思考和非思考兩種模式，提供了與 ERNIE-4.5-VL-424B-A47B 一致的功能。

圖注：ERNIE-4.5預訓練模型的性能

圖注：ERNIE-4.5-300B-A47B后訓練模型的性能

英特爾適配端側部署

此次文心系列模型的開源發布后，英特爾“第零日”即實現對文心端側模型的適配和在英特爾酷睿Ultra平臺上的端側部署。

英特爾宣布OpenVIN已經對文心4.5的0.3B參數量的稠密模型成功適配，并在英特爾酷睿Ultra平臺上成功部署且獲得了優異的推理性能。

OpenVINO工具套件是由英特爾開發的開源工具套件，旨在優化和加速深度學習模型的推理性能，支持跨平臺部署并充分利用英特爾硬件資源。OpenVINO助力行業中廣泛的先進模型在英特爾人工智能產品和解決方案中的性能，應用在AI PC、邊緣AI和更多人工智能的使用場景當中。

從2021年開始，百度飛槳和英特爾OpenVINO進行深入合作，雙方進行深度適配，為開發者提供了更有效更便捷的AI開發工具鏈。（宜月）