2022年6月，浪(lang)潮“源1.0”大模型登頂(ding)中文(wen)語(yu)言能力(li)理(li)(li)解(jie)和生成(cheng)評(ping)(ping)測(ce)基準(zhun)CUGE總榜榜首，并獲(huo)得語(yu)言理(li)(li)解(jie)（篇章級）、語(yu)言生成(cheng)、對話交互(hu)、多語(yu)言、數學推理(li)(li)等(deng)5項(xiang)評(ping)(ping)測(ce)最佳成(cheng)績。這是繼源1.0攬獲(huo)權威中文(wen)語(yu)言評(ping)(ping)測(ce)基準(zhun)CLUE榜單的零(ling)樣本(ben)學習(xi)和小樣本(ben)學習(xi)兩(liang)類總榜冠軍后(hou)，再(zai)次(ci)在(zai)評(ping)(ping)測(ce)中展現強大實力(li)。

CUGE(Chinese Language Understanding and Generation Evaluation)智源指數是由清(qing)華大(da)(da)學、北京(jing)大(da)(da)學、北京(jing)智源研究院等(deng)高(gao)校機構共(gong)同建立的中文機器語言(yan)能力評(ping)(ping)測基準，該基準針(zhen)對(dui)當前自然語言(yan)處(chu)理和(he)人(ren)工智能發展新范(fan)式，面向具有“通(tong)用語言(yan)能力”的預訓練模型(xing)，全面系統、多層次、多維度地評(ping)(ping)測大(da)(da)模型(xing)能力。

源1.0領跑多類綜合語言場景

在語(yu)言(yan)理(li)解(jie)(jie)(篇章級)評測中，源1.0僅(jin)用時11分鐘(zhong)，便完成數千(qian)篇閱讀(du)理(li)解(jie)(jie)回答4000多個問題，以(yi)86.9高分的成績位(wei)居榜首，展現出頂尖的語(yu)言(yan)理(li)解(jie)(jie)能(neng)力。基于源1.0大模型強大的閱讀(du)理(li)解(jie)(jie)能(neng)力及(ji)高速(su)(su)處理(li)大量樣(yang)本的特點，未來將加速(su)(su)勞動密(mi)集型文本處理(li)等(deng)行業變革，如應用于智能(neng)客服根據(ju)用戶提供的信息在產(chan)品文檔中快速(su)(su)找到(dao)解(jie)(jie)決方案及(ji)智能(neng)司法、智能(neng)招聘系統等(deng)。

在語(yu)言(yan)生成評測(ce)中，源(yuan)1.0僅用時70秒，就完(wan)成近800條摘要內(nei)容的(de)(de)生成，登頂(ding)該項榜單。源(yuan)大(da)(da)模型強大(da)(da)的(de)(de)文(wen)本生成能(neng)力可提(ti)(ti)升智能(neng)問答與對話、新聞摘要、報告生成等(deng)場景中AI智能(neng)化水平，如從長篇幅的(de)(de)新聞資訊等(deng)文(wen)本中提(ti)(ti)取(qu)出簡明扼(e)要的(de)(de)文(wen)字描述，便于(yu)及時、高效的(de)(de)獲取(qu)有價值的(de)(de)信息及智能(neng)文(wen)案、協助寫作等(deng)場景。

在(zai)多(duo)語(yu)言機器(qi)翻(fan)譯評測中，基(ji)于(yu)源1.0大模型蒸餾出(chu)來的(de)(de)翻(fan)譯模型在(zai)完(wan)成近4000千(qian)對中英文(wen)互譯后，登頂榜(bang)首，領先第二(er)名(ming)15%。翻(fan)譯模型在(zai)基(ji)于(yu)源1.0大模型閱讀的(de)(de)海量高質(zhi)量數據集基(ji)礎上，采用維基(ji)百科、書籍、聯合國(guo)文(wen)件及字(zi)幕組等近80G高質(zhi)量數據集進行(xing)強化(hua)訓練(lian)，因此翻(fan)譯不僅專業準確，同時更符合中文(wen)表述(shu)。未來可廣泛應用于(yu)新聞、哲學、小說等日常的(de)(de)語(yu)言翻(fan)譯場景中。

在(zai)對(dui)(dui)(dui)話交互評(ping)測(ce)(ce)中，基(ji)于源1.0大(da)模型(xing)蒸餾出來的(de)對(dui)(dui)(dui)話模型(xing)回(hui)答(da)了(le)電影(ying)、音樂、旅行3個領(ling)域(yu)共近萬個主(zhu)題對(dui)(dui)(dui)話，成績位居榜(bang)首(shou)，領(ling)先第(di)二名成績30%，展現(xian)了(le)極強的(de)智能(neng)(neng)(neng)對(dui)(dui)(dui)話能(neng)(neng)(neng)力。在(zai)繼承(cheng)源1.0大(da)模型(xing)能(neng)(neng)(neng)力的(de)基(ji)礎上，對(dui)(dui)(dui)話模型(xing)采用了(le)2660萬條(tiao)醫療、法律、保險等不(bu)同行業(ye)，歷史、電影(ying)、娛(yu)樂等不(bu)同場景(jing)的(de)對(dui)(dui)(dui)話語料數(shu)(shu)據進(jin)行強化訓練，在(zai)知(zhi)識(shi)問(wen)答(da)、高頻閑聊等開放(fang)式任務上表現(xian)突出，此前已獲得業(ye)界權威測(ce)(ce)評(ping)WebQA開放(fang)問(wen)答(da)數(shu)(shu)據集榜(bang)單冠軍。

當前，智能(neng)對(dui)話(hua)(hua)普遍存在(zai)內(nei)容乏味、主題不連(lian)貫等問題，往往幾輪對(dui)話(hua)(hua)后，回答便空洞重(zhong)復，大大降低用戶(hu)體驗。知(zhi)識(shi)驅(qu)動(dong)的(de)(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)直接(jie)連(lian)接(jie)到廣泛的(de)(de)(de)知(zhi)識(shi)庫，大大增(zeng)加對(dui)話(hua)(hua)內(nei)容的(de)(de)(de)豐富(fu)度，在(zai)一(yi)(yi)定知(zhi)識(shi)背景下也不會偏題，更趨向于人(ren)類(lei)(lei)之間的(de)(de)(de)交談。不久前，源開發者(zhe)(zhe)社區的(de)(de)(de)一(yi)(yi)位開發者(zhe)(zhe)基于源的(de)(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)創建了一(yi)(yi)位能(neng)與人(ren)類(lei)(lei)玩劇本殺的(de)(de)(de)AI虛擬玩家，一(yi)(yi)位人(ren)類(lei)(lei)玩家與AI虛擬玩家聊(liao)天到深(shen)夜凌晨仍(reng)興趣盎然。以知(zhi)識(shi)驅(qu)動(dong)的(de)(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)，可廣泛應用于各類(lei)(lei)虛擬人(ren)、智能(neng)助手、智能(neng)客服等場景，并極大提升對(dui)話(hua)(hua)的(de)(de)(de)智能(neng)水平和用戶(hu)體驗。

源1.0在數學推理鋒芒初露

當前(qian)業界各(ge)類大模型在(zai)(zai)(zai)自然語(yu)言(yan)處(chu)理(li)領(ling)域(yu)展示出(chu)了強大的能(neng)力，但在(zai)(zai)(zai)數學(xue)領(ling)域(yu)卻還存在(zai)(zai)(zai)盲(mang)區。數學(xue)對邏輯和(he)推(tui)理(li)能(neng)力有(you)極強的要求，Open AI開發出(chu)多種(zhong)方(fang)法(fa)訓練GPT-3的數學(xue)推(tui)理(li)能(neng)力，但在(zai)(zai)(zai)挑戰小學(xue)數學(xue)應用題時，GPT-3也(ye)尚未及格(ge)，數學(xue)推(tui)理(li)能(neng)力甚至低(di)于9-12歲兒童。

為更(geng)好評測大模型(xing)邏輯推(tui)理能(neng)(neng)力(li)，CUGE專門設立了(le)數(shu)(shu)學(xue)推(tui)理能(neng)(neng)力(li)榜單(dan)，主(zhu)要考(kao)察(cha)模型(xing)數(shu)(shu)值計算能(neng)(neng)力(li)，即考(kao)察(cha)對應用情景和(he)任務的理解抽象能(neng)(neng)力(li)以及(ji)數(shu)(shu)值計算能(neng)(neng)力(li)，類似于小(xiao)學(xue)數(shu)(shu)學(xue)應用題(ti)。數(shu)(shu)學(xue)推(tui)理能(neng)(neng)力(li)榜單(dan)數(shu)(shu)據庫內的數(shu)(shu)學(xue)題(ti)來自在線教育網(wang)站(zhan)提供的小(xiao)學(xue)數(shu)(shu)學(xue)應用題(ti)。

在CUGE數學(xue)推理評測中，源(yuan)1.0大模型(xing)完(wan)成1000道小學(xue)數學(xue)應(ying)用題，以76.9的高(gao)(gao)分大幅領先(xian)高(gao)(gao)居(ju)榜首。

為(wei)(wei)應對大模(mo)(mo)型(xing)在(zai)數學(xue)(xue)推理方(fang)面(mian)的(de)(de)(de)挑戰，浪潮為(wei)(wei)源1.0開發(fa)了一套相(xiang)似啟(qi)發(fa)式(shi)數據增強的(de)(de)(de)方(fang)案，給每(mei)一個要求解(jie)(jie)的(de)(de)(de)數學(xue)(xue)問(wen)題(ti)(ti)(ti)從數據庫中(zhong)檢索并匹(pi)配(pei)一個相(xiang)似的(de)(de)(de)題(ti)(ti)(ti)目(mu)并與(yu)原題(ti)(ti)(ti)目(mu)進行拼接(jie)，通(tong)過(guo)(guo)類(lei)(lei)(lei)比學(xue)(xue)習(xi)(xi)(xi)，啟(qi)發(fa)大模(mo)(mo)型(xing)能夠根據兩道相(xiang)似問(wen)題(ti)(ti)(ti)更好地(di)(di)學(xue)(xue)習(xi)(xi)(xi)如何給出解(jie)(jie)題(ti)(ti)(ti)表達式(shi)，進而學(xue)(xue)會每(mei)一類(lei)(lei)(lei)題(ti)(ti)(ti)目(mu)的(de)(de)(de)解(jie)(jie)法，類(lei)(lei)(lei)似于(yu)(yu)人類(lei)(lei)(lei)在(zai)學(xue)(xue)習(xi)(xi)(xi)過(guo)(guo)程中(zhong)會通(tong)過(guo)(guo)連續學(xue)(xue)習(xi)(xi)(xi)同(tong)一類(lei)(lei)(lei)型(xing)的(de)(de)(de)題(ti)(ti)(ti)目(mu)來提(ti)高(gao)對這一類(lei)(lei)(lei)型(xing)題(ti)(ti)(ti)目(mu)的(de)(de)(de)理解(jie)(jie)能力；同(tong)時，浪潮在(zai)源1.0改進了算法掩(yan)碼(ma)策(ce)略(lve)，使(shi)得模(mo)(mo)型(xing)在(zai)學(xue)(xue)習(xi)(xi)(xi)過(guo)(guo)程中(zhong)只(zhi)關注于(yu)(yu)連續的(de)(de)(de)相(xiang)似的(de)(de)(de)題(ti)(ti)(ti)目(mu)，不受(shou)同(tong)一個輸入序列中(zhong)不相(xiang)關題(ti)(ti)(ti)目(mu)的(de)(de)(de)影響，這樣模(mo)(mo)型(xing)可(ke)以更專注于(yu)(yu)學(xue)(xue)習(xi)(xi)(xi)同(tong)一類(lei)(lei)(lei)型(xing)的(de)(de)(de)題(ti)(ti)(ti)目(mu)，極大地(di)(di)提(ti)升了解(jie)(jie)題(ti)(ti)(ti)準確度，全方(fang)面(mian)培養一個數學(xue)(xue)學(xue)(xue)霸。

源1.0開源開放計劃收效顯著

目(mu)前，浪(lang)潮“源1.0”已經(jing)將模(mo)型(xing)API、高(gao)質量數據(ju)集、模(mo)型(xing)訓練(lian)代碼、推理(li)代碼和(he)應(ying)用代碼等等工具和(he)能力開源開放(fang)，超(chao)過(guo)300家(jia)行業(ye)用戶和(he)開發(fa)者，通(tong)過(guo)“源1.0”提供的(de)數據(ju)和(he)API顯著提升了金融、互(hu)聯網、醫療和(he)自動駕(jia)駛等行業(ye)應(ying)用的(de)精度。浪(lang)潮源1.0將持續助力行業(ye)用戶和(he)開發(fa)者，攜手(shou)推動技術創新、場景(jing)融合、應(ying)用開發(fa)，共同促進(jin)大模(mo)型(xing)的(de)健康(kang)發(fa)展與產業(ye)落地，加速AI產業(ye)化和(he)產業(ye)AI化發(fa)展。