在6月30日，百度正式宣布開源其文心大模型4.5系列，涵蓋了多種規(guī)模的模型，包括47B和3B激活參數(shù)的混合專家（MoE）模型，以及0.3B參數(shù)的稠密型模型。這一系列模型的開源不僅包括預(yù)訓(xùn)練權(quán)重，還提供了推理代碼，旨在為全球開發(fā)者、企業(yè)和研究機構(gòu)提供便利。用戶可以在國內(nèi)開源平臺GitCode上免費下載和體驗這些模型，支持多種應(yīng)用場景的部署和微調(diào)。

此次開源的文心大模型4.5系列共包含10款模型，最大的模型總參數(shù)量達到424B。百度在MoE架構(gòu)上進行了創(chuàng)新，提出了一種多模態(tài)異構(gòu)模型結(jié)構(gòu)，旨在提升多模態(tài)理解能力，同時保持文本任務(wù)的性能。所有模型均使用飛槳深度學(xué)習(xí)框架進行高效訓(xùn)練和推理，且在大語言模型的預(yù)訓(xùn)練中，模型FLOPs利用率（MFU）達到了47%。

值得一提的是，英特爾在此次文心系列模型發(fā)布中發(fā)揮了重要作用。通過其OpenVINO工具套件，英特爾實現(xiàn)了對文心端側(cè)模型的適配，并在英特爾酷睿Ultra平臺上完成了端側(cè)部署。OpenVINO是一個開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的推理性能，支持跨平臺部署，充分利用英特爾的硬件資源。

文心大模型4.5于今年3月首次發(fā)布，是百度首個原生多模態(tài)大模型，在多模態(tài)理解、文本和邏輯推理等方面表現(xiàn)優(yōu)異，測試結(jié)果顯示其性能優(yōu)于GPT4.5，且API調(diào)用價格僅為后者的1%。