7月24日，國內(nèi)權(quán)威第三方評測機(jī)構(gòu) SuperCLUE 發(fā)布中文原生工業(yè)大模型測評基準(zhǔn) SC-Industry（SuperCLUE-Industry）最新榜單。北電數(shù)智驕陽·工業(yè)大模型以83.44 的總分綜合排名第一。
圖注：SuperCLUE 發(fā)布工業(yè)大模型能力象限
SuperCLUE 是行業(yè)權(quán)威的通用大模型綜合性測評基準(zhǔn)，專注于中文大模型測評；SC-Industry立足中文語義環(huán)境與工業(yè)場景，充分貼合國內(nèi)制造業(yè)的術(shù)語體系與應(yīng)用需求，全面地衡量工業(yè)大模型除知識庫之外解決行業(yè)具體問題的應(yīng)用能力，兼具工業(yè)領(lǐng)域模型的通用性與可拓展性。
SC-Industry評測從基礎(chǔ)能力和應(yīng)用能力兩大維度出發(fā)，聚焦工業(yè)常規(guī)問答、工業(yè)數(shù)據(jù)分析、工業(yè)文檔問答、工業(yè)智能體Agent、工業(yè)理解計(jì)算、工業(yè)代碼生成六大能力，對大模型進(jìn)行效果評估。通過構(gòu)建專用測評集，SC-Industry結(jié)合評估流程、評估標(biāo)準(zhǔn)、評分規(guī)則，將文本輸入送入超級模型，并對每一維度的評估結(jié)果與人類一致性進(jìn)行分析。
根據(jù)榜單測評結(jié)果，驕陽·工業(yè)大模型在整體總分第一之外，“應(yīng)用能力”綜合測評結(jié)果獲90.07分，同樣位居榜首。
● 在“工業(yè)數(shù)據(jù)分析” 細(xì)分維度上，「驕陽」獲得90.38的最高分，能夠?qū)Ρ砀耦悢?shù)據(jù)進(jìn)行出色分析并提供深刻洞察。
● 在“工業(yè)智能體Agent”上，驕陽·工業(yè)大模型以89.97分領(lǐng)跑，其在一定的工業(yè)環(huán)境中展現(xiàn)出強(qiáng)大的自主或半自主執(zhí)行任務(wù)能力，能有效做出決策，并與其他系統(tǒng)進(jìn)行交互以優(yōu)化或輔助工業(yè)流程，特別是在多輪任務(wù)規(guī)劃與工具調(diào)用中表現(xiàn)卓越，這對于復(fù)雜工業(yè)流程的落地至關(guān)重要。
SuperCLUE在報(bào)告中指出，產(chǎn)業(yè)級應(yīng)用能力成為新分水嶺。驕陽·工業(yè)大模型憑借在工業(yè)數(shù)據(jù)分析上的強(qiáng)勢表現(xiàn)，得到了業(yè)界領(lǐng)先的 90.07 分，首次登頂。這一方面說明在工業(yè)任務(wù)能力方面，國產(chǎn)模型正在突圍；另一方面表明在基礎(chǔ)能力趨同的情況下，工業(yè)數(shù)據(jù)分析與智能體表現(xiàn)將成為拉開差距的關(guān)鍵。
北電數(shù)智以產(chǎn)業(yè)協(xié)同、技術(shù)突破雙輪驅(qū)動(dòng)破局，一方面推動(dòng)建立工業(yè)數(shù)據(jù)標(biāo)準(zhǔn)和開放協(xié)議體系，運(yùn)用可信數(shù)據(jù)空間技術(shù)實(shí)現(xiàn)數(shù)據(jù)的安全共享；另一方面重點(diǎn)研發(fā)場景化微調(diào)數(shù)據(jù)生成和復(fù)雜任務(wù)強(qiáng)化學(xué)習(xí)等核心技術(shù)，有效提升模型的行業(yè)認(rèn)知能力。目前，驕陽·工業(yè)大模型已成功構(gòu)建“精準(zhǔn)的垂類認(rèn)知、高質(zhì)量數(shù)據(jù)治理體系、嚴(yán)格的安全合規(guī)管控機(jī)制”三大優(yōu)勢，展現(xiàn)了北電數(shù)智在垂類大模型領(lǐng)域的階段性研發(fā)成果，也體現(xiàn)了依托北京電控深厚工業(yè)基因的差異化競爭能力。
在即將到來的2025 WAIC世界人工智能大會上，北電數(shù)智將正式發(fā)布驕陽·工業(yè)大模型，并聚焦工業(yè)企業(yè)最關(guān)注的“AI+生產(chǎn)、AI+產(chǎn)品、AI+運(yùn)營、AI+基礎(chǔ)設(shè)施”等核心業(yè)務(wù)場景，分享北電數(shù)智的創(chuàng)新能力和標(biāo)桿實(shí)踐，敬請關(guān)注。
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
