計(jì)算產(chǎn)品性能基準(zhǔn)測(cè)試是支撐計(jì)算產(chǎn)品性能迭代優(yōu)化、牽引計(jì)算產(chǎn)業(yè)能力提升的重要工作。為了推動(dòng)計(jì)算產(chǎn)品性能基準(zhǔn)工具在市場(chǎng)中的應(yīng)用,計(jì)算產(chǎn)品性能基準(zhǔn)工作組在線上組織召開“計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench宣講會(huì)”,本次宣講會(huì)由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院主辦,中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)新一代計(jì)算標(biāo)準(zhǔn)工作委員會(huì)、開放計(jì)算標(biāo)準(zhǔn)工作委員會(huì)承辦,綠色計(jì)算產(chǎn)業(yè)聯(lián)盟(GCC)協(xié)辦。中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院信息技術(shù)研究中心陳海針對(duì)基礎(chǔ)算力基準(zhǔn)工具CPUBench工作進(jìn)展進(jìn)行了介紹,集成電路測(cè)評(píng)中心鐘偉軍博士針對(duì)基礎(chǔ)算力基準(zhǔn)工具CPUBench的設(shè)計(jì)、測(cè)試與分析進(jìn)行了詳細(xì)闡述。為準(zhǔn)確評(píng)估計(jì)算系統(tǒng)的真實(shí)性能,解決傳統(tǒng)性能基準(zhǔn)工具存在的問題,彌補(bǔ)國(guó)內(nèi)在性能測(cè)試技術(shù)研究及基準(zhǔn)工具研制方面的經(jīng)驗(yàn)不足,由處理器廠商、整機(jī)廠商、評(píng)測(cè)機(jī)構(gòu)及學(xué)術(shù)機(jī)構(gòu)在2020年共同成立了計(jì)算產(chǎn)品性能基準(zhǔn)工作組。經(jīng)過較長(zhǎng)時(shí)間的研究、設(shè)計(jì)、開發(fā)、驗(yàn)證等階段,工作組于2021年世界計(jì)算大會(huì)上完成了計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench的發(fā)布,當(dāng)前工作組成員單位也已突破80家。計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench定位于對(duì)通用計(jì)算場(chǎng)景下的CPU、內(nèi)存子系統(tǒng)以及所依賴的編譯器進(jìn)行綜合計(jì)算能力評(píng)估。考慮到多種計(jì)算架構(gòu)平臺(tái)的性能評(píng)測(cè)需求,目前已經(jīng)移植到x86_64、aarch64、ppc64le、sw_64和loongArch64等指令集架構(gòu)的處理器平臺(tái),覆蓋飛騰、海光、合芯、鯤鵬、兆芯、龍芯、申威、超微、英特爾等不同單位處理器產(chǎn)品,可運(yùn)行在Debian、KylinOS、openEuler、Redhat、SUSE、UOS等基于Linux的操作系統(tǒng),兼容AOCC、BiSheng、Clang、GCC和ICC等編譯環(huán)境。計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench安裝包提供針對(duì)不同指令集架構(gòu)的內(nèi)置依賴庫(kù),簡(jiǎn)化測(cè)試環(huán)境部署過程,提高了工具的易用性。計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench的測(cè)試負(fù)載選擇考量了諸多因素,首先,測(cè)試負(fù)載應(yīng)來自于實(shí)際的應(yīng)用場(chǎng)景,具有較高的業(yè)界認(rèn)可度和影響力。其次,還要綜合評(píng)估各負(fù)載于多架構(gòu)平臺(tái)的移植成本、計(jì)算密集程度、編程語(yǔ)言、穩(wěn)定性、公平性、知識(shí)產(chǎn)權(quán)等因素。另外,基準(zhǔn)工具整體的微架構(gòu)特征覆蓋度、業(yè)務(wù)領(lǐng)域覆蓋度、不同負(fù)載之間的差異性同樣作為重要的選擇依據(jù)?；谠紭I(yè)務(wù)應(yīng)用,設(shè)計(jì)并實(shí)現(xiàn)一個(gè)可用的測(cè)試負(fù)載也是一個(gè)復(fù)雜的過程,不光要移除掉除業(yè)務(wù)核心計(jì)算邏輯外的其他代碼部分,如網(wǎng)絡(luò)、圖形、I/O操作、依賴于特定架構(gòu)的匯編代碼等,同時(shí)要為裁剪后的負(fù)載設(shè)計(jì)輸入數(shù)據(jù)集,并確保運(yùn)行時(shí)長(zhǎng)在合理范圍內(nèi)。最后要基于一系列不同的測(cè)試環(huán)境進(jìn)行測(cè)試驗(yàn)證,考察裁剪后負(fù)載的穩(wěn)定性、兼容性、可重復(fù)性、資源利用率、微架構(gòu)特征等指標(biāo)。當(dāng)前,計(jì)算產(chǎn)品基礎(chǔ)算力測(cè)試基準(zhǔn)工具CPUBench已經(jīng)正式進(jìn)入市場(chǎng)應(yīng)用推廣階段。2022年8月,工作組正式面向全行業(yè)啟動(dòng)測(cè)試報(bào)告提交活動(dòng),得到積極響應(yīng)。活動(dòng)中共計(jì)收到30余家單位報(bào)名,參測(cè)機(jī)型達(dá)40余款,基本覆蓋業(yè)界主力銷售產(chǎn)品;生成有效測(cè)試報(bào)告200余份。首批測(cè)試數(shù)據(jù)在計(jì)算產(chǎn)品性能基準(zhǔn)工作組網(wǎng)站已完成發(fā)布,相關(guān)單位包含眾多國(guó)內(nèi)優(yōu)秀服務(wù)器整機(jī)廠商,如新華三、超聚變、寶德、同方、百信、長(zhǎng)江計(jì)算、廣電五舟、華鯤振宇等單位,中國(guó)移動(dòng)研究院作為客戶單位也提交了部分測(cè)試結(jié)果,上述結(jié)果可為行業(yè)和用戶提供高價(jià)值選型參考和前瞻性指引。后續(xù),工作組將持續(xù)發(fā)布經(jīng)各單位提交的不同產(chǎn)品有效測(cè)試報(bào)告,并在官網(wǎng)匯聚成性能數(shù)據(jù)庫(kù),幫助客戶選型、牽引產(chǎn)品性能提升。工作組也將積極推動(dòng)測(cè)試報(bào)告進(jìn)入運(yùn)營(yíng)商集采、金融、電力、信息創(chuàng)新等重要市場(chǎng)項(xiàng)目,打通研究-標(biāo)準(zhǔn)-工具-認(rèn)證-商業(yè)項(xiàng)目路徑,形成產(chǎn)業(yè)鏈條閉環(huán)。在工作組的長(zhǎng)期推動(dòng)下,性能基準(zhǔn)作為牽引計(jì)算產(chǎn)業(yè)高質(zhì)量發(fā)展的抓手已凝聚為各方共識(shí)。未來,工作組將持續(xù)支撐計(jì)算產(chǎn)品性能迭代優(yōu)化,構(gòu)建芯片、單機(jī)、集群、數(shù)據(jù)中心全棧式計(jì)算產(chǎn)品性能基準(zhǔn)標(biāo)準(zhǔn)體系,推動(dòng)工具在重點(diǎn)行業(yè)領(lǐng)域深度應(yīng)用,吸引產(chǎn)學(xué)研用單位廣泛參與,完善性能評(píng)價(jià)及基準(zhǔn)生態(tài),為促進(jìn)計(jì)算產(chǎn)業(yè)全鏈條健康有序發(fā)展提供抓手。計(jì)算產(chǎn)品性能基準(zhǔn)工作組(Computing Product Performance Benchmark Workgroup,簡(jiǎn)稱“CPPB WG”)主要針對(duì)計(jì)算產(chǎn)品性能基準(zhǔn)需求,開展計(jì)算產(chǎn)品性能基準(zhǔn)頂層設(shè)計(jì),建設(shè)和維護(hù)計(jì)算產(chǎn)品性能基準(zhǔn)標(biāo)準(zhǔn)、測(cè)評(píng)工具和運(yùn)營(yíng)體系,積極開展應(yīng)用推廣。