更強(qiáng)算力！更加易用！京東云數(shù)智算力矩陣助推大模型落地（京東數(shù)科 京東云）

人工智能浪潮迭起，大模型持續(xù)“涌現(xiàn)”。大模型的訓(xùn)練與應(yīng)用對(duì)數(shù)字基礎(chǔ)設(shè)施提出了更高的要求——更強(qiáng)算力、更大存力、更加易用、更低門檻的數(shù)字基礎(chǔ)設(shè)施，是建好大模型、用好大模型的前提。

9月26日，京東云城市大會(huì)西安站圓滿落幕?；诙嗄陙韺?duì)研發(fā)大模型的能力積累和對(duì)行業(yè)需求的理解，京東云在會(huì)上重磅發(fā)布數(shù)智算力矩陣。從MaaS服務(wù)到到智算集群，再到硬件基礎(chǔ)設(shè)施，京東云為千行百業(yè)不同需求的客戶，打造一站式大模型服務(wù)，為孕育大模型提供“肥沃土壤”，筑牢產(chǎn)業(yè)發(fā)展的數(shù)字基底。

為了應(yīng)對(duì)大模型訓(xùn)練資源稀缺，以及缺乏專業(yè)開發(fā)人員等問題，京東云將京東大模型能力開放出來，將開發(fā)大模型的底層能力解耦，推出言犀AI開發(fā)計(jì)算平臺(tái)，提供一站式模型訓(xùn)練推理能力。

超算資源的成本、模型計(jì)算效率、資源彈性等都成為制約大模型訓(xùn)練的關(guān)鍵因素，京東云高性能計(jì)算集群、超低延遲網(wǎng)絡(luò)、高性能分布式存儲(chǔ)等，提供極致的數(shù)字基礎(chǔ)設(shè)施能力，并基于混合多云操作系統(tǒng)，對(duì)異構(gòu)資源進(jìn)行靈活調(diào)度，更好地滿足大模型的算力需求。
在底層硬件層面，京東云提供硬件/網(wǎng)絡(luò)算力資源、智能算力模塊，以及算力中心和邊緣節(jié)點(diǎn)等能力，為大模型訓(xùn)練提供堅(jiān)實(shí)的保障。

此外，京東云完善的安全體系，可有效保障客戶云上云下整體資產(chǎn)應(yīng)用和業(yè)務(wù)系統(tǒng)的安全穩(wěn)定，為大模型服務(wù)保駕護(hù)航。

AI開發(fā)計(jì)算平臺(tái) 讓大模型“觸手可及”

目前，言犀AI開發(fā)計(jì)算平臺(tái)已正式上線，提供公有云版、私有化部署版、API接口等多種服務(wù)方式，為客戶的大模型開發(fā)和行業(yè)應(yīng)用，提供一站式的解決方案，讓大模型的能力輕松觸達(dá)每一位開發(fā)者。

將大模型能力應(yīng)用到產(chǎn)業(yè)領(lǐng)域，實(shí)現(xiàn)垂直行業(yè)的“智能涌現(xiàn)”，并非易事。高質(zhì)量的行業(yè)知識(shí)作為稀缺要素，決定了大模型的“智商”。言犀AI開發(fā)計(jì)算平臺(tái)具備豐富的行業(yè)知識(shí)庫，京東在零售、物流、健康、金融等行業(yè)多年積累的知識(shí)都沉淀在平臺(tái)上。

同時(shí)，平臺(tái)不僅提供京東自研的言犀大模型，也支持行業(yè)各類開源通用模型；此外，平臺(tái)精選了京東技術(shù)團(tuán)隊(duì)多年來開發(fā)出的100多種訓(xùn)練和推理優(yōu)化工具，可提供更加高效的大模型開發(fā)環(huán)境，讓用戶可以快速地把通用模型，轉(zhuǎn)化成適合自身場(chǎng)景的專業(yè)模型，尤其是面對(duì)沒有代碼開發(fā)經(jīng)驗(yàn)的應(yīng)用開發(fā)者，平臺(tái)低代碼的開發(fā)方式，進(jìn)一步降低門檻，讓大模型真正變得“觸手可及”。

通過言犀AI開發(fā)計(jì)算平臺(tái)，不到一周時(shí)間，即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、到模型部署的全流程；之前需要10余人的科學(xué)家團(tuán)隊(duì)工作，現(xiàn)在只需要1-2個(gè)算法人員；通過平臺(tái)模型加速工具優(yōu)化，節(jié)約90%的推理成本。

高性能計(jì)算集群 打造大模型網(wǎng)絡(luò)“高速公路”

算力集群的靈活調(diào)度，是大模型訓(xùn)練的底層基礎(chǔ)。全新的云艦異構(gòu)資源池化解決方案，在原有支持混合多云CPU GPU異構(gòu)算力池化能力基礎(chǔ)上，針對(duì)大模型場(chǎng)景，支持訓(xùn)練 微調(diào) 推理混合部署，進(jìn)一步增加了針對(duì)AI應(yīng)用所需的調(diào)度管理能力，提供一站式算力池化解決方案，算力利用率提升70%，從而全面推動(dòng)大模型應(yīng)用落地降本增效。

大模型訓(xùn)練本身帶來的高昂成本，讓很多企業(yè)想用不敢用，兼具高性價(jià)比和高性能的計(jì)算集群，對(duì)降低大模型訓(xùn)練成本尤為重要。

京東云高性能計(jì)算集群HPC，使用了高速RDMA網(wǎng)絡(luò)互聯(lián)的彈性服務(wù)器集群，提供高計(jì)算性能和并行加速效率的彈性計(jì)算服務(wù)。 在算力層面，京東云提供的超級(jí)計(jì)算集群、京剛裸金屬、第五代云主機(jī)等多種高性能產(chǎn)品形態(tài)，可提供極致算力，最大支持十萬級(jí)GPU節(jié)點(diǎn)規(guī)模；在網(wǎng)絡(luò)層面，京東云自研RDMA擁塞算法，全局調(diào)控RDMA網(wǎng)絡(luò)流量路徑，不同GPU節(jié)點(diǎn)最大支持3.2 Tbps RDMA網(wǎng)絡(luò)帶寬，傳輸時(shí)延低至2 us左右。

大模型需要大規(guī)模的算力，由此也帶來海量的存儲(chǔ)需求，云海作為京東云自主研發(fā)的高性能、高穩(wěn)定、低成本分布式存儲(chǔ)產(chǎn)品，歷經(jīng)10余年京東自身復(fù)雜場(chǎng)景的歷練，能夠滿足大模型所需要的海量數(shù)據(jù)存儲(chǔ)需求，并提供超大量數(shù)據(jù)傳輸所需的極致性能。同時(shí)，存算分離的技術(shù)架構(gòu)，可為客戶節(jié)省整體基礎(chǔ)設(shè)施成本超30%，現(xiàn)已在高性能計(jì)算、AI訓(xùn)練等新興場(chǎng)景以及音視頻存儲(chǔ)、數(shù)據(jù)報(bào)表等傳統(tǒng)場(chǎng)景廣泛應(yīng)用。

智能算力模塊 筑牢大模型堅(jiān)實(shí)底座

隨著大模型等系列 AIGC 產(chǎn)品的應(yīng)用落地，對(duì)于AI 服務(wù)器的需求快速提升，且AI 服務(wù)器中大量使用高功率 CPU、GPU芯片，帶動(dòng)單臺(tái)AI 服務(wù)器功耗不斷上升，因此提高單機(jī)柜功率密度，成為調(diào)和快速增長(zhǎng)的算力需求，與有限的數(shù)據(jù)中心承載力之間的有效方案。

基于多年算力基礎(chǔ)設(shè)施部署交付的最佳實(shí)踐，京東云在業(yè)內(nèi)率先推出“阿爾法”智能算力模塊高功率密度解決方案，含括風(fēng)冷型智能算力模塊及液冷型智能算力模塊雙系列產(chǎn)品，可實(shí)現(xiàn)智能高算力應(yīng)用業(yè)務(wù)部署的安全、穩(wěn)定、高效節(jié)能運(yùn)行。

京東云液冷型智能算力模塊，可全面兼容GPU、CPU服務(wù)器，PUE制冷因子可降低至0.1以內(nèi)，并支持風(fēng)冷、液冷系統(tǒng)一體化交付，預(yù)制模塊化部署，全面滿足算力密度20-100kW/柜數(shù)據(jù)中心部署需求。

共創(chuàng)共建，探索大模型落地

目前，京東云以前沿的數(shù)智技術(shù)，共服務(wù)100座城市、2500余家大型企業(yè)、944家金融機(jī)構(gòu)和超250萬家中小微企業(yè)。具體到陜西省，京東云為“中國(guó)西部能源航母”陜煤集團(tuán)搭建了運(yùn)銷云，促進(jìn)煤炭行業(yè)數(shù)字化轉(zhuǎn)型和國(guó)家能源供應(yīng)的改善，推動(dòng)陜煤業(yè)務(wù)流程縮短了40%；此外，京東云已與陜數(shù)集團(tuán)達(dá)成合作，針對(duì)政府及重點(diǎn)國(guó)企數(shù)據(jù)及關(guān)基防護(hù)的需求，推進(jìn)密改、密評(píng)及相關(guān)業(yè)務(wù)合作，持續(xù)深化在智慧物流、大數(shù)據(jù)等創(chuàng)新應(yīng)用等方面的業(yè)務(wù)合作。

會(huì)議當(dāng)天，京東云還與陜數(shù)集團(tuán)、農(nóng)信通集團(tuán)、寧算科技集團(tuán)、青山湖產(chǎn)控、智云天工、蘭杜科技進(jìn)行合作簽約，攜手探索數(shù)智技術(shù)在產(chǎn)業(yè)端的落地，塑造全新增長(zhǎng)空間。

技術(shù)只有在產(chǎn)業(yè)端形成扎實(shí)的應(yīng)用，才能勾畫出一條以實(shí)助實(shí)的產(chǎn)業(yè)價(jià)值創(chuàng)造路徑。面向未來，京東云愿與合作伙伴一道，以極致性價(jià)比的數(shù)字基礎(chǔ)設(shè)施助推大模型抵達(dá)產(chǎn)業(yè)智能。

編輯：趙莉