6月26日，一場(chǎng)干貨爆棚的AI算力盛會(huì)，在北京燦爛盛夏中熱烈召開(kāi)。

以大模型、生成式AI為代表的新一輪人工智能浪潮的滾滾向前，催生出前所未有的AI算力需求，算力是數(shù)字經(jīng)濟(jì)時(shí)代的新質(zhì)生產(chǎn)力，更是人工智能發(fā)展的基石。

2025年，以DeepSeek為代表的國(guó)產(chǎn)大模型強(qiáng)勢(shì)突圍，在全球引爆部署熱潮和AI應(yīng)用開(kāi)發(fā)熱潮，也給國(guó)內(nèi)AI算力市場(chǎng)注入新的活力，推動(dòng)AI推理算力需求暴漲，超大規(guī)模集群鱗次櫛比，而需求的爆發(fā)也帶來(lái)諸多挑戰(zhàn)，醞釀新的行業(yè)變化。

為此，我們發(fā)起了一場(chǎng)聚焦前沿技術(shù)與產(chǎn)業(yè)趨勢(shì)的夏日AI聚會(huì)——2025中國(guó)AI算力大會(huì)。

從國(guó)產(chǎn)AI算力的突圍與崛起，到智算中心深層軟硬件技術(shù)創(chuàng)新解決算力落地產(chǎn)業(yè)難題，近30位重量級(jí)嘉賓與會(huì)帶來(lái)致辭、報(bào)告、演講和對(duì)話，全方位解構(gòu)DeepSeek引爆的AI算力變局，全場(chǎng)金句頻頻，各路大佬觀點(diǎn)持續(xù)碰撞擦出火花，現(xiàn)場(chǎng)參會(huì)人數(shù)超過(guò)850人。

在會(huì)場(chǎng)外的展區(qū)，Alluxio、研惠通、惠普、白山云科技、中昊芯英、中科加禾、科華數(shù)據(jù)、行云集成電路等8家企業(yè)亮出了他們的最新技術(shù)和產(chǎn)品，展區(qū)人頭攢動(dòng)，交流熱情氛圍濃厚。

▲展區(qū)

由智一科技旗下智猩猩與智東西共同發(fā)起主辦、芯東西協(xié)辦的首屆AI算力大會(huì)，圍繞AI算力產(chǎn)業(yè)變局與創(chuàng)新、AI推理算力、智算中心、智算集群異構(gòu)混訓(xùn)、超節(jié)點(diǎn)等話題設(shè)置議程，主會(huì)場(chǎng)包括高峰論壇、AI推理算力專題論壇和智算中心專題論壇；分會(huì)場(chǎng)為閉門制，組織了智算集群異構(gòu)混訓(xùn)技術(shù)研討會(huì)、超節(jié)點(diǎn)技術(shù)研討會(huì)。

▲聯(lián)想集團(tuán)Game of AI科普視頻在大會(huì)展播：聯(lián)想海神全液冷解決方案，革命性提升AI推理時(shí)代算力

智一科技聯(lián)合創(chuàng)始人、CEO龔倫常在大會(huì)致辭環(huán)節(jié)宣布：中國(guó)AI算力大會(huì)正式成為“智領(lǐng)未來(lái)”北京人工智能系列品牌活動(dòng)之一。“智領(lǐng)未來(lái)”是北京市科委、中關(guān)村管委會(huì)打造的北京市人工智能領(lǐng)域的活動(dòng)品牌。同樣作為“智領(lǐng)未來(lái)”北京人工智能系列品牌活動(dòng)之一的中國(guó)生成式AI大會(huì)已于今年4月1日-2日?qǐng)A滿舉行。龔倫常還預(yù)告了將于下半年舉行的兩場(chǎng)大型品牌活動(dòng)：9月在上海舉辦第七屆全球AI芯片峰會(huì)，11月在深圳舉辦2025中國(guó)具身智能機(jī)器人大會(huì)。

▲智一科技聯(lián)合創(chuàng)始人、CEO龔倫常

智算集群異構(gòu)混訓(xùn)、超節(jié)點(diǎn)兩場(chǎng)技術(shù)研討會(huì)在分會(huì)場(chǎng)圓滿舉辦。壁仞科技AI軟件首席架構(gòu)師丁云帆、中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理班有容、北京智源人工智能研究院AI框架研發(fā)負(fù)責(zé)人敖玉龍、上海人工智能實(shí)驗(yàn)室編譯計(jì)算與國(guó)產(chǎn)化團(tuán)隊(duì)負(fù)責(zé)人裴芝林、商湯大裝置技術(shù)產(chǎn)品總監(jiān)劉葉楓在智算集群異構(gòu)混訓(xùn)技術(shù)研討會(huì)做了報(bào)告分享。

阿里云基礎(chǔ)設(shè)施異構(gòu)硬件和系統(tǒng)及解決方案資深總監(jiān)盧曉偉、中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理王鵬、奇異摩爾首席網(wǎng)絡(luò)架構(gòu)專家葉棟、曦智科技聯(lián)合創(chuàng)始人兼首席技術(shù)官孟懷宇圍繞超節(jié)點(diǎn)進(jìn)行了不同視角的報(bào)告分享。中信建投證券科技行業(yè)首席分析師閻貴成主持了超節(jié)點(diǎn)技術(shù)研討會(huì)及圓桌Panel。

▲分會(huì)場(chǎng)

接下來(lái)我們將為大家?guī)?lái)主會(huì)場(chǎng)三大論壇15+位分享嘉賓的演講和對(duì)話精華。

01.高峰論壇：從千芯節(jié)點(diǎn)到千億大模型國(guó)產(chǎn)AI芯片生態(tài)迸發(fā)旺盛活力

AI已成為數(shù)據(jù)中心增長(zhǎng)的核心驅(qū)動(dòng)力。大模型迭代拉動(dòng)算力需求暴增，推動(dòng)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施全面升級(jí)。在大模型訓(xùn)練與部署需求旺盛的背景下，如何更充分地利用閑置算力，國(guó)產(chǎn)AI芯片發(fā)展到了怎樣的新階段，有哪些優(yōu)化大模型推理效果的創(chuàng)新技術(shù)？6位嘉賓分享了他們對(duì)產(chǎn)業(yè)最新風(fēng)向的觀察與探索。

1、信通院陳屹力：“算力荒”與“算力閑置”共存，算力互聯(lián)互通、AI云成焦點(diǎn)

中國(guó)信息通信研究院云大所副總工程師陳屹力談道，當(dāng)下AI大規(guī)模應(yīng)用促使智能算力需求激增，AI 云成為全球AI浪潮角逐的焦點(diǎn)。其中AI云基礎(chǔ)設(shè)施需覆蓋異構(gòu)高效調(diào)度能力、一云多模能力、專家知識(shí)大腦等多方面。AI云平臺(tái)推動(dòng)AI應(yīng)用的智能、便捷構(gòu)建，提升國(guó)際影響力、助力生態(tài)繁榮。

隨任務(wù)型智算應(yīng)用興起，對(duì)算力資源的定位、調(diào)度、部署效率提出更高要求。中國(guó)信通院聯(lián)合產(chǎn)業(yè)各方探索構(gòu)建算力互聯(lián)網(wǎng)，積極推進(jìn)算力標(biāo)識(shí)、算力調(diào)度、傳輸協(xié)議、應(yīng)用適配等方面技術(shù)研究，加快現(xiàn)有算力“局域網(wǎng)”間互聯(lián)互通，逐步建立標(biāo)準(zhǔn)體系，形成算力互聯(lián)網(wǎng)體系架構(gòu)，核心解決算力“找調(diào)用”挑戰(zhàn)，逐步形成具備智能感知、實(shí)時(shí)發(fā)現(xiàn)、隨需獲取的算力互聯(lián)網(wǎng)。

▲中國(guó)信息通信研究院云大所副總工程師陳屹力

2、摩爾線程王華：算力需求千倍增長(zhǎng)，大集群和FP8成為強(qiáng)需求

摩爾線程副總裁王華引用了一些研究數(shù)據(jù)：2020至2025年間，大模型訓(xùn)練的算力需求提升近1000倍 ，驅(qū)動(dòng)力來(lái)自參數(shù)規(guī)模與數(shù)據(jù)量雙向增長(zhǎng)。以DeepSeek-V3為例，其訓(xùn)練所需算力達(dá)10²?級(jí)別，在萬(wàn)卡集群上可將訓(xùn)練時(shí)間壓縮至13天內(nèi)完成 。

為應(yīng)對(duì)算力需求，摩爾線程提供包括FP8在內(nèi)的全精度算力，有效支持混合精度訓(xùn)練，大幅提升訓(xùn)練效率；部署萬(wàn)卡集群，研發(fā)完整的軟硬件棧，提供開(kāi)箱即用的產(chǎn)品，快速滿足大模型訓(xùn)練的算力需求；打造豐富的集群監(jiān)控和診斷能力，針對(duì)大規(guī)模集群實(shí)現(xiàn)分鐘級(jí)故障定位。

此外，摩爾線程構(gòu)建了支持FP8、BF16、FP32等數(shù)據(jù)類型的混合精度訓(xùn)練方案，開(kāi)源Torch-MUSA、MT-MegatronLM與MT-TransformerEngine等大模型訓(xùn)練組件，已完成DeepSeek-V3的混合精度訓(xùn)練復(fù)現(xiàn)。在多個(gè)模型上的實(shí)驗(yàn)結(jié)果表明，其方案整體性能提升可達(dá)20%–30%，訓(xùn)練精度與業(yè)界主流保持一致。

▲摩爾線程副總裁王華

3、中昊芯英楊龔軼凡：解讀TPU架構(gòu)創(chuàng)新設(shè)計(jì)，國(guó)產(chǎn)AI芯片如何抓住本土機(jī)遇

中昊芯英創(chuàng)始人、CEO楊龔軼凡談道，AI專用芯片是AI Infra的必然發(fā)展趨勢(shì)，TPU架構(gòu)為AI大模型而生，采用多維度計(jì)算單元來(lái)優(yōu)化數(shù)據(jù)復(fù)用，提高計(jì)算效率，并通過(guò)更激進(jìn)的數(shù)據(jù)傳輸策略和更小的控制單元，給片上存儲(chǔ)器和運(yùn)算單元留下更大空間，其可擴(kuò)展性也更適合超大規(guī)模計(jì)算。

中昊芯英全自研高性能TPU架構(gòu)AI芯片“剎那”于2023年已成功流片并實(shí)現(xiàn)量產(chǎn)，其計(jì)算性能較海外某知名GPU芯片提升近1.5倍。基于“剎那”的高性能AI服務(wù)器及大規(guī)模AI計(jì)算集群“泰則”，支持1024卡高速互聯(lián)，可支撐超千億參數(shù)大模型計(jì)算。
隨著大模型成本下移，AI芯片架構(gòu)開(kāi)始深度適配動(dòng)態(tài)稀疏計(jì)算范式，形成“算法定義硬件”的新研發(fā)模式。降低對(duì)CUDA生態(tài)的依賴后，國(guó)產(chǎn)Al芯片將通過(guò)提供定制化工具鏈、優(yōu)化編譯器等方式，在架構(gòu)設(shè)計(jì)上更加靈活適應(yīng)新的本土趨勢(shì)和需求。

▲中昊芯英創(chuàng)始人、CEO楊龔軼凡

4、魔形智能徐凌杰：大模型需要“千芯”超節(jié)點(diǎn)，未來(lái)架構(gòu)有五大關(guān)鍵因素

魔形智能科技創(chuàng)始人、CEO徐凌杰幽默開(kāi)場(chǎng)：“過(guò)去十年，中國(guó)最值錢的是房地產(chǎn)行業(yè)。未來(lái)最值錢的，可能還是房地產(chǎn)，只不過(guò)住的不是人，而是機(jī)器。”

研究數(shù)據(jù)顯示，全球數(shù)據(jù)中心總耗電量與單個(gè)發(fā)達(dá)國(guó)家相當(dāng)。更強(qiáng)的大模型需要大集群，更快的大模型需要超節(jié)點(diǎn)，更大的高帶寬互聯(lián)域是超節(jié)點(diǎn)設(shè)計(jì)的核心。當(dāng)前算力密度遠(yuǎn)不夠高，要達(dá)到與人腦相當(dāng)?shù)乃懔γ芏龋枰獦?gòu)建“千芯”超節(jié)點(diǎn)，構(gòu)建可重構(gòu)的AI算力中心。

如何構(gòu)建千芯互連網(wǎng)絡(luò)？徐凌杰總結(jié)了未來(lái)超節(jié)點(diǎn)架構(gòu)的5大關(guān)鍵因素：超高密度算力節(jié)點(diǎn)，千芯多機(jī)柜級(jí)聯(lián)背板連接，800V供電輸入，交換芯片全互聯(lián)，全覆蓋式冷卻。

他還分享了下一代算力基礎(chǔ)設(shè)施對(duì)芯片提出的3大要求：板級(jí)&封裝級(jí)靈活組合與解耦，整合光電共封裝設(shè)計(jì)，Cluster First的產(chǎn)品理念。軟硬協(xié)同將釋放超大集群的潛力。

▲魔形智能科技創(chuàng)始人、CEO徐凌杰

5、中科加禾崔慧敏：AI編譯優(yōu)化躍升推理性能，有效擴(kuò)展國(guó)產(chǎn)AI芯片生態(tài)

中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員、中科加禾創(chuàng)始人崔慧敏談道，大模型推理私有化部署需求大漲，但面臨硬件繁多、需求多元、多模部署等多重挑戰(zhàn)。

中科加禾圍繞編譯優(yōu)化構(gòu)建大模型推理的引擎和軟件棧，積累了大量實(shí)踐案例：在推理引擎中實(shí)施深度顯存優(yōu)化，有效提高顯存利用率；在大規(guī)模推理中實(shí)現(xiàn)多維并行策略，有效利用計(jì)算、訪存、通信資源；基于多項(xiàng)聯(lián)合優(yōu)化，推理技術(shù)在某互聯(lián)網(wǎng)廠商合作中將QPS提升50%以上，并在昇騰910B平臺(tái)私有化部署場(chǎng)景下有效支持128K長(zhǎng)上下文。

長(zhǎng)期來(lái)看，基于AI編譯技術(shù)，構(gòu)建一套底層公共的編譯支撐，能夠長(zhǎng)期有效解決AI生態(tài)碎片化及生態(tài)融合問(wèn)題。

▲中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員、中科加禾創(chuàng)始人崔慧敏

6、趨境科技陳祥麟：千億大模型的異構(gòu)推理新路徑

趨境科技技術(shù)負(fù)責(zé)人陳祥麟分享了大模型推理的技術(shù)創(chuàng)新。他認(rèn)為大模型私有化推理架構(gòu)將從傳統(tǒng)的以GPU為中心轉(zhuǎn)向全系統(tǒng)異構(gòu)協(xié)同，需要充分提升算力利用率。

團(tuán)隊(duì)首創(chuàng)全系統(tǒng)異構(gòu)協(xié)同與以存換算技術(shù)，充分利用底層GPU、CPU、存儲(chǔ)等硬件設(shè)備算力，通過(guò)基于計(jì)算強(qiáng)度的offload策略、CPU/GPU的高性能算子改造、MTP等算力優(yōu)化方法，以及prefix cache等融合推理策略，提升全系統(tǒng)算力，將大模型推理門檻降低至1/10。

趨境科技與清華KVCache.AI團(tuán)隊(duì)共同開(kāi)源的異構(gòu)推理框架KTranformers，能夠利用單張消費(fèi)級(jí)GPU+CPU異構(gòu)推理DeepSeek-671B-r1/v3，decode速度最高達(dá)到20+ tokens/s。

同時(shí)參與月之暗面、清華MADSys實(shí)驗(yàn)室等多個(gè)產(chǎn)學(xué)研機(jī)構(gòu)開(kāi)源的項(xiàng)目Mooncake，以超大規(guī)模KVCache緩存池為中心，通過(guò)以存換算的創(chuàng)新理念大幅度減少算力開(kāi)銷，顯著提升了推理吞吐量。

▲趨境科技研發(fā)負(fù)責(zé)人陳祥麟

02.高端對(duì)話：國(guó)產(chǎn)AI算力的突圍與崛起中美差距正逐步縮小

以《國(guó)產(chǎn)AI算力的突圍與崛起》為主題的高端對(duì)話，由智一科技聯(lián)合創(chuàng)始人、智車芯產(chǎn)媒矩陣總編輯張國(guó)仁主持，中昊芯英創(chuàng)始人兼CEO楊龔軼凡，魔形智能科技創(chuàng)始人、CEO徐凌杰，中科加禾聯(lián)合創(chuàng)始人兼CTO陳龍三位嘉賓進(jìn)行分享。

張國(guó)仁談道，從2018年AI芯片峰會(huì)到如今AI算力峰會(huì)，他感觸最深的是國(guó)內(nèi)企業(yè)對(duì)自己的產(chǎn)品、公司發(fā)展都表現(xiàn)得愈發(fā)云淡風(fēng)輕。

▲智一科技聯(lián)合創(chuàng)始人、智車芯產(chǎn)媒矩陣總編輯張國(guó)仁

1、國(guó)產(chǎn)算力與全球差距仍然存在

面對(duì)國(guó)產(chǎn)算力在全球發(fā)展中的地位，陳龍談道，國(guó)內(nèi)廠商已掌握算力底層技術(shù)，但在PyTorch等主流訓(xùn)練框架適配方面仍處于跟隨、陪跑階段。

楊龔軼凡從硬件的設(shè)計(jì)和生產(chǎn)兩方面進(jìn)行了比較：生產(chǎn)差距存在，但預(yù)測(cè)將在3-5年內(nèi)逐步縮?。欢谠O(shè)計(jì)層面，從學(xué)術(shù)研究、論文創(chuàng)新性等角度看，設(shè)計(jì)的差距更大。隨著模型算法收斂，更多創(chuàng)新型架構(gòu)、設(shè)計(jì)出現(xiàn)，國(guó)外諸多路線已發(fā)展到產(chǎn)品落地，國(guó)內(nèi)廠商需要共同拓展生態(tài)。

▲中昊芯英創(chuàng)始人兼CEO楊龔軼凡

徐凌杰認(rèn)為，在如何做優(yōu)秀的GPU、如何搭建生態(tài)、如何做集群等方面，中美認(rèn)知差距正不斷縮小。但實(shí)際產(chǎn)業(yè)中，差距進(jìn)一步擴(kuò)大，企業(yè)需要從底層供應(yīng)鏈突破。

2、算力仍是資源導(dǎo)向型市場(chǎng)

對(duì)于國(guó)產(chǎn)算力的市場(chǎng)化，徐凌杰判斷，政府、資源導(dǎo)向型的現(xiàn)狀未來(lái)幾年不會(huì)有很大改變，芯片晶圓、制程以及芯片創(chuàng)企在國(guó)產(chǎn)生態(tài)中的成長(zhǎng)，都需要政府扶持。芯片公司的機(jī)會(huì)是通過(guò)更強(qiáng)互聯(lián)、集群打造差異化，找到商業(yè)化落腳點(diǎn)。

楊龔軼凡同樣認(rèn)為，資源導(dǎo)向型走向市場(chǎng)導(dǎo)向型是一個(gè)過(guò)程，在半導(dǎo)體行業(yè)，老的生產(chǎn)制程永遠(yuǎn)比新的生產(chǎn)制程性價(jià)比低，生產(chǎn)制程每迭代一次會(huì)有4倍的性價(jià)比提升，這就導(dǎo)致純國(guó)產(chǎn)芯片的性價(jià)比更低，需要政府扶持拉通生產(chǎn)工藝的產(chǎn)業(yè)鏈。

陳龍從應(yīng)用層面進(jìn)行分析，談到國(guó)家的扶持很必要，企業(yè)通過(guò)軟硬件優(yōu)化降低了部署成本，但消費(fèi)側(cè)拉動(dòng)還不夠強(qiáng)，現(xiàn)狀是上一代芯片尚沒(méi)有完全落地應(yīng)用，下一代芯片已經(jīng)出來(lái)了，因此核心是要發(fā)掘更有價(jià)值的應(yīng)用。

▲中科加禾聯(lián)合創(chuàng)始人兼CTO陳龍

3、專用芯片、編譯技術(shù)、超節(jié)點(diǎn)，是未來(lái)發(fā)展方向

楊龔軼凡堅(jiān)信專用芯片是未來(lái)的發(fā)展方向，在通用性需求大幅降低的情況下，可以拋棄部分通用性，增加芯片核心的性能和性價(jià)比。越專越好，是在滿足一定可控性和變化下的結(jié)果。

圍繞編譯技術(shù)在解決國(guó)產(chǎn)芯片面臨的風(fēng)險(xiǎn)，陳龍認(rèn)為，它是將專家的經(jīng)驗(yàn)泛化、普適化的一種技術(shù)手段。編譯技術(shù)最開(kāi)始產(chǎn)生是為了彌補(bǔ)人的思維和機(jī)器能接受信息之間的鴻溝，使開(kāi)發(fā)效率提升上百倍。

徐凌杰著重談到超節(jié)點(diǎn)的發(fā)展方向，在大模型領(lǐng)域，類似MoE的創(chuàng)新結(jié)合超節(jié)點(diǎn)會(huì)有更大收益，即更大的問(wèn)題用更大的集群解決，更大的集群反哺系統(tǒng)，從而做出更大的模型。

▲魔形智能科技創(chuàng)始人、CEO徐凌杰

4、算力產(chǎn)業(yè)格局未定

談到全球算力產(chǎn)業(yè)的產(chǎn)業(yè)格局，陳龍認(rèn)為，雖然國(guó)內(nèi)巨頭有積累優(yōu)勢(shì)，但產(chǎn)業(yè)規(guī)模足夠大，且需求多元化，將來(lái)企業(yè)將百花齊放。

楊龔軼凡的觀點(diǎn)更為激進(jìn)：首先，3-5年內(nèi)形成產(chǎn)業(yè)格局的可能性不高，目前仍是企業(yè)相互競(jìng)爭(zhēng)、高速發(fā)展變革的過(guò)程；其次，資源型市場(chǎng)的天然屬性決定了其很難形成壟斷，且巨頭穿越周期能力弱，因此AI產(chǎn)業(yè)爆發(fā)后市場(chǎng)格局會(huì)洗牌，初創(chuàng)公司或許會(huì)通過(guò)更好的組織形式去適應(yīng)產(chǎn)業(yè)發(fā)展。

行業(yè)的重要性、資本周期發(fā)展對(duì)產(chǎn)業(yè)發(fā)展都會(huì)有影響。徐凌杰相信，算力變得越來(lái)越有吸引力，自然會(huì)有更多的錢涌入，會(huì)出現(xiàn)巨頭被沖擊、新生勢(shì)力冒出的場(chǎng)景。創(chuàng)企和巨頭需要找準(zhǔn)自己的定位，通過(guò)“整合”變成更強(qiáng)實(shí)體可能是一條發(fā)展路徑。

如今中國(guó)算力規(guī)模已在全球排名第二，被預(yù)測(cè)有望影響全球AI 競(jìng)賽格局。陳龍認(rèn)為，AI算力市場(chǎng)規(guī)模和國(guó)家GDP發(fā)展成正比關(guān)系，當(dāng)國(guó)家GDP反超或許是國(guó)產(chǎn)算力格局更進(jìn)一步的機(jī)會(huì)。楊龔軼凡提到投入產(chǎn)出比，目前美國(guó)和中國(guó)算力開(kāi)銷差10倍，當(dāng)投入量逐步趕上才會(huì)有變化。徐凌杰認(rèn)為未來(lái)當(dāng)AI賦能千行百業(yè)，算力真正變成生產(chǎn)力時(shí)，就是一個(gè)巨大的機(jī)會(huì)。

03.專題論壇：從軟硬協(xié)同到端邊云協(xié)同底層技術(shù)創(chuàng)新突破AI算力瓶頸

下午場(chǎng)火熱繼續(xù)，在AI推理算力專題論壇和智算中心專題論壇中，來(lái)自行云集成電路、安謀科技、實(shí)在智能、白山云科技、Alluxio、浩云長(zhǎng)盛集團(tuán)、上海矩向科技、趨動(dòng)科技的8位嘉賓帶來(lái)了精彩演講。

如何突破大模型推理芯片的核心瓶頸、如何實(shí)現(xiàn)出色的端側(cè)模型性能？超大規(guī)模智算中心面臨的數(shù)據(jù)、成本功耗、算力利用率等方面的一系列難題要如何破解？我們都將找到答案。

1、行云余洪敏：只有軟硬件協(xié)同創(chuàng)新才能突破大模型推理芯片的核心瓶頸

行云聯(lián)合創(chuàng)始人、CTO余洪敏談道，高質(zhì)量大模型最核心的需求就是極其變態(tài)的內(nèi)存需求，既要帶寬，又要容量。推理芯片核心瓶頸有：顯存容量，價(jià)格高昂，只有通過(guò)軟硬件協(xié)同創(chuàng)新才能解決。

行云致力于把AI基礎(chǔ)設(shè)施從超算變成消費(fèi)電子競(jìng)爭(zhēng)，褐蟻是第一個(gè)十萬(wàn)元級(jí)運(yùn)行DeepSeek滿血671B、FP8非量化且對(duì)話速度在20TPS以上的解決方案，用數(shù)量級(jí)碾壓的競(jìng)爭(zhēng)力讓全行業(yè)對(duì)AI超算祛魅。

近期行云將推出蟻群，實(shí)現(xiàn)500~1000有效并發(fā)下最高質(zhì)量模型的流暢體驗(yàn)，價(jià)格在300~400萬(wàn)價(jià)位，接近DeepSeek公有云的性價(jià)比；此外，計(jì)劃在明年年底推出自研GPU芯片，相比褐蟻性能將有數(shù)倍提升，集群化后，相比蟻群可以數(shù)倍提高有效并發(fā)。

▲行云集成電路聯(lián)合創(chuàng)始人、CTO余洪敏

2、安謀科技鮑敏祺：NPU如何助力端側(cè)設(shè)備突破內(nèi)存、算力、功耗三堵墻？

安謀科技產(chǎn)品總監(jiān)鮑敏祺觀察到，端側(cè)設(shè)備正逐步承擔(dān)更多AI計(jì)算任務(wù)，端側(cè)AI模型在算法迭代、上下文長(zhǎng)度擴(kuò)展和模型理解力提升等方面進(jìn)展迅速。

隨著模型的演進(jìn)，端側(cè)AI硬件也面臨新的需求：一是算力需求持續(xù)增長(zhǎng)，計(jì)算精度從INT向FLOAT轉(zhuǎn)變，需通過(guò)多核協(xié)同實(shí)現(xiàn)算力提升；二是大模型對(duì)帶寬要求更高，可通過(guò)提升數(shù)據(jù)本地化程度減少數(shù)據(jù)傳輸距離，從而優(yōu)化能效比；三是需要優(yōu)化硬件中向量計(jì)算與矩陣計(jì)算的配比。

為應(yīng)對(duì)“內(nèi)存墻”、“算力墻”和“功耗墻”三大挑戰(zhàn)，安謀科技正升級(jí)其自研“周易”NPU產(chǎn)品，如擴(kuò)展數(shù)據(jù)類型支持、新增W4A16硬件加速和DSA加速功能、提供更為豐富的算子庫(kù)等，持續(xù)驅(qū)動(dòng)終端算力躍遷，助力產(chǎn)業(yè)把握端側(cè)AI“芯”機(jī)遇。

▲安謀科技產(chǎn)品總監(jiān)鮑敏祺

3、實(shí)在智能歐陽(yáng)小剛：Agent端側(cè)性能超GPT-4o 10%，一體機(jī)30分鐘開(kāi)箱部署

實(shí)在智能合伙人、核心算法負(fù)責(zé)人歐陽(yáng)小剛提到，算力需求與場(chǎng)景落地的雙向倒逼，正推動(dòng)智能體技術(shù)端側(cè)的探索革新。其公司行業(yè)首發(fā)的通用智能體“實(shí)在Agent”，專注跨系統(tǒng)、鏈接各類軟件的辦公流程自動(dòng)化。

其自研的實(shí)在TARS大模型和TARS-VL大模型分別在垂域任務(wù)理解性能超越GPT-4o達(dá)10個(gè)百分點(diǎn)，GUI多模態(tài)理解能力領(lǐng)先3%，而通用能力幾乎無(wú)損；同時(shí)，該模型支持私有化部署，深度融合RPA與智能體工作流，實(shí)現(xiàn)瀏覽器、桌面應(yīng)用、移動(dòng)端的無(wú)縫操作，支持一鍵流程編輯和智能體共享，降低30%重復(fù)開(kāi)發(fā)成本。

歐陽(yáng)小剛提到與惠普聯(lián)合打造的Z系列數(shù)字員工一體機(jī)：基于HP Z8 Fury G5工作站，得益于四塊NVIDIA 5880 Ada的強(qiáng)大算力，開(kāi)箱30分鐘完成部署，核心業(yè)務(wù)數(shù)據(jù)全程本地處理。

▲實(shí)在智能合伙人、核心算法負(fù)責(zé)人歐陽(yáng)小剛

4、白山云科技李金鋒：以邊緣計(jì)算破解AI推理時(shí)延與成本難題

白山云科技智算產(chǎn)品研發(fā)負(fù)責(zé)人李金鋒談到，AI推理面臨網(wǎng)絡(luò)時(shí)延與成本挑戰(zhàn)，對(duì)邊緣計(jì)算的需求日益增長(zhǎng)。當(dāng)前的云邊端架構(gòu)依然適用：中心云集中計(jì)算，追求性能極致優(yōu)化；邊緣云在靠近用戶處提供算力，作為重要補(bǔ)充，現(xiàn)可處理百億參數(shù)內(nèi)大模型推理，顯著降低時(shí)延；終端算力則在保障數(shù)據(jù)隱私場(chǎng)景中發(fā)揮作用。

針對(duì)邊緣云節(jié)點(diǎn)分散帶來(lái)的算力管理難、任務(wù)調(diào)度復(fù)雜和單節(jié)點(diǎn)資源有限等挑戰(zhàn)，李金鋒介紹可通過(guò)全網(wǎng)任務(wù)調(diào)度、彈性算力調(diào)度、模型加載優(yōu)化及單節(jié)點(diǎn)推理性能優(yōu)化等方式解決。

依托覆蓋全球的1700多個(gè)具備計(jì)算、存儲(chǔ)、安全能力的數(shù)據(jù)節(jié)點(diǎn)及150多個(gè)海外運(yùn)營(yíng)商資源，白山云能輕松升級(jí)GPU算力，有力支撐邊緣推理服務(wù)。

▲白山云科技智算產(chǎn)品研發(fā)負(fù)責(zé)人李金鋒

5、Alluxio傅正佳：用去中心化架構(gòu)方案，解決AI數(shù)據(jù)湖困境

Alluxio首席架構(gòu)師傅正佳談道，AI 數(shù)據(jù)全鏈路各環(huán)節(jié)面臨的不同難題，以及環(huán)節(jié)間數(shù)據(jù)交互導(dǎo)致的資源浪費(fèi)與效率低下，其本質(zhì)都是數(shù)據(jù)湖困境的體現(xiàn)。

Alluxio介于分布式計(jì)算框架與存儲(chǔ)系統(tǒng)之間，可以做到對(duì)當(dāng)前AI Infra“零改造無(wú)侵入”，并提升數(shù)據(jù)安全性，還可以統(tǒng)一納管數(shù)據(jù)孤島，提供高性能緩存層。Alluxio采用去中心化架構(gòu)，支持100億以上對(duì)象，能夠降低數(shù)據(jù)工程復(fù)雜度與成本，提升模型迭代效率與數(shù)據(jù)方向速度。

Alluxio的核心技術(shù)包括協(xié)議轉(zhuǎn)換、數(shù)據(jù)緩存層以及虛擬數(shù)據(jù)湖等，可應(yīng)用于智駕、機(jī)器學(xué)習(xí)訓(xùn)練、智算、AI模型分發(fā)、科學(xué)計(jì)算等場(chǎng)景?；鶞?zhǔn)測(cè)試顯示，其性能與全球頂尖并行系統(tǒng)持平，成本更低，GPU利用率可達(dá)95%及以上。

▲Alluxio首席架構(gòu)師傅正佳

6、浩云長(zhǎng)盛趙亮：智算時(shí)代數(shù)據(jù)中心變革，液冷、超高壓直流成大勢(shì)所趨

浩云長(zhǎng)盛集團(tuán)首席增長(zhǎng)官（CGO）趙亮稱，隨著智算時(shí)代的到來(lái)，數(shù)據(jù)中心的算力密度不斷提升，同時(shí)，大模型推理和訓(xùn)推一體的需求也在增長(zhǎng)。

這些變化對(duì)數(shù)據(jù)中心的供電和制冷系統(tǒng)提出了巨大挑戰(zhàn)，設(shè)計(jì)和架構(gòu)需要重大調(diào)整。如今，數(shù)據(jù)中心應(yīng)配備更高的層高和更強(qiáng)的承重能力，以滿足密度的提升，隨之而來(lái)的散熱問(wèn)題讓液冷成為必然選擇。在電力層面，能夠減少能源轉(zhuǎn)換損耗、提升電力運(yùn)營(yíng)效率的高壓直流技術(shù)正獲得廣泛采用。

此外，數(shù)據(jù)中心的選址也至關(guān)重要，需綜合考慮電力供應(yīng)便利性、運(yùn)維便利性、算力設(shè)備梯級(jí)利用和實(shí)際應(yīng)用場(chǎng)景，而非簡(jiǎn)單地將其布局在能源成本較低的地區(qū)，因此把訓(xùn)推一體智算中心建設(shè)在一線城市周邊更有優(yōu)勢(shì)。

▲浩云長(zhǎng)盛集團(tuán)首席增長(zhǎng)官CGO趙亮

7、矩向科技黃朝波：模算云破局算力浪費(fèi)，毛利躍升超10倍

上海矩向科技創(chuàng)始人兼CEO黃朝波指出，當(dāng)前智算中心深陷無(wú)序建設(shè)、架構(gòu)封閉、遠(yuǎn)離業(yè)務(wù)場(chǎng)景三重困局，導(dǎo)致區(qū)域算力閑置、資源利用率不足。

傳統(tǒng)硬件堆砌模式已無(wú)法滿足AI爆發(fā)需求，唯有通過(guò)整合算力、模型與應(yīng)用的模算云平臺(tái)重構(gòu)價(jià)值鏈，將電力轉(zhuǎn)化為算力、模型力，并深加工為應(yīng)用賦能能力，以此來(lái)實(shí)現(xiàn)算力服務(wù)毛利的躍遷。以3000P AI算力為例，服務(wù)毛利從智算中心的1億飆升至模算云的10多億，增幅超10倍。

模算云模式以輕資產(chǎn)實(shí)現(xiàn)高產(chǎn)出：政府可統(tǒng)籌閑置算力賦能中小企業(yè)，企業(yè)可通過(guò)開(kāi)箱即用的MaaS服務(wù)降低AI門檻；技術(shù)上采用異構(gòu)協(xié)同，國(guó)產(chǎn)芯片覆蓋80%計(jì)算量，英偉達(dá)GPU兜底剩余需求，同時(shí)結(jié)合云邊端協(xié)同，進(jìn)一步降低推理成本，縮短業(yè)務(wù)落地周期。

▲上海矩向科技創(chuàng)始人兼CEO黃朝波

8、趨動(dòng)科技張?jiān)鼋穑和ㄓ眯袠I(yè)GPU利用率不足30%，軟件定義AI算力成必然趨勢(shì)

趨動(dòng)科技技術(shù)總監(jiān)張?jiān)鼋鹬赋?，盡管生成式AI算力市場(chǎng)熱度高漲，但非生成式AI的規(guī)模仍是其兩倍，從運(yùn)營(yíng)層面來(lái)看，蘊(yùn)藏著巨大的收入潛力（IDC 2025）。在國(guó)內(nèi)眾多智算場(chǎng)景中，GPU平均利用率低至5%左右，主要原因在于異構(gòu)資源分配方式粗放、調(diào)度機(jī)制缺失以及管理效率低下等問(wèn)題。

采用軟件定義AI算力的模式，通過(guò)軟件對(duì)算力基礎(chǔ)設(shè)施進(jìn)行重新構(gòu)建，實(shí)現(xiàn)硬件資源的按需動(dòng)態(tài)調(diào)用，能夠有效解決當(dāng)前異構(gòu)硬件利用率低、調(diào)度模式僵化等難題，避免因資源管理不善而引發(fā)的系統(tǒng)瓶頸。

張?jiān)鼋鸨硎?，未?lái)，軟件定義將成為智算中心的關(guān)鍵發(fā)展方向。在一系列行業(yè)實(shí)踐中，趨動(dòng)科技借助軟件定義技術(shù)，助力某客戶將整體GPU平均利用率從8%提升至35%，峰值平均利用率從15%躍升至60%。目前，趨動(dòng)科技已與數(shù)百家家來(lái)自運(yùn)營(yíng)商、金融、能源電力、制造業(yè)等領(lǐng)域的客戶展開(kāi)了深度合作。

▲趨動(dòng)科技技術(shù)總監(jiān)張?jiān)鼋?/p>

04.結(jié)語(yǔ)：中國(guó)AI算力蓬勃向前技術(shù)創(chuàng)新加速涌現(xiàn)

在中美博弈的背景下，國(guó)產(chǎn)大模型們強(qiáng)勢(shì)突圍，帶動(dòng)了國(guó)內(nèi)AI算力需求的持續(xù)增長(zhǎng)，算力需求發(fā)生結(jié)構(gòu)性變化、推理算力需求增速遠(yuǎn)超預(yù)期，中國(guó)AI算力產(chǎn)業(yè)不斷迎來(lái)新的機(jī)遇和挑戰(zhàn)，諸多優(yōu)秀企業(yè)通過(guò)技術(shù)創(chuàng)新破解算力難題，加速AI的產(chǎn)業(yè)化落地。

站在技術(shù)與產(chǎn)業(yè)共振的歷史節(jié)點(diǎn)，我們每一個(gè)人，都正在見(jiàn)證和參與一場(chǎng)激動(dòng)人心的技術(shù)躍遷。隨著Agent浪潮的涌起、端側(cè)智能的加速落地、具身智能的覺(jué)醒、產(chǎn)業(yè)AI加速賦能，AGI的曙光正離我們?cè)絹?lái)越近。

中國(guó)AI算力產(chǎn)業(yè)必將乘著這股勁流揚(yáng)帆起航，駛向更廣闊的AI星辰大海。