本屆NeurIPS大會(hui)共收(shou)到6743篇(pian)(pian)論(lun)文投(tou)稿，兩年時間(jian)翻了一(yi)番(fan)。其中1428篇(pian)(pian)論(lun)文入選(xuan)，入選(xuan)率僅21.1%。百(bai)度共有8篇(pian)(pian)論(lun)文被收(shou)錄，覆蓋量化壓(ya)縮、對抗訓練等(deng)諸多前沿方向。

競賽(sai)(sai)方面(mian)，在(zai)NeurIPS 2019: Learn to Move強化(hua)學(xue)習賽(sai)(sai)事(shi)中百度(du)再(zai)度(du)蟬聯冠軍，并受邀在(zai)Deep RL workshop中進行專題報告。本次比(bi)賽(sai)(sai)的(de)難度(du)非常大，在(zai)參賽(sai)(sai)的(de)近300支(zhi)隊伍(wu)(wu)中，僅有3支(zhi)隊伍(wu)(wu)完成(cheng)了(le)最(zui)后(hou)挑戰。百度(du)基于(yu)飛槳(jiang)的(de)強化(hua)學(xue)習框架PARL不(bu)僅成(cheng)功完成(cheng)挑戰，還大幅領先第(di)二名（1490vs1346）。除(chu)了(le)在(zai)Best Performance Track獲(huo)得(de)了(le)第(di)一，相關技(ji)術論文也在(zai)該(gai)賽(sai)(sai)事(shi)的(de)Machine Learning Track中獲(huo)得(de)了(le)Best Paper Reward。

百(bai)度(du)舉(ju)辦(ban)了(le)自(zi)(zi)然(ran)語言處(chu)(chu)理(li)專題研討會，百(bai)度(du)技術(shu)委員會主席(xi)、自(zi)(zi)然(ran)語言處(chu)(chu)理(li)首席(xi)科學家吳華博士以及(ji)多(duo)名研究(jiu)員和工程師，向現場參會者全(quan)面(mian)介紹了(le)百(bai)度(du)在(zai)這一領(ling)域(yu)的長期積累(lei)與全(quan)新突破。基于具有(you)完(wan)全(quan)自(zi)(zi)主知識產(chan)權的飛槳(jiang)平(ping)臺，百(bai)度(du)自(zi)(zi)然(ran)語言處(chu)(chu)理(li)在(zai)語義計算、閱讀(du)理(li)解、多(duo)輪(lun)對話、機器(qi)翻(fan)譯(yi)、開放平(ping)臺與數據等方向均(jun)取(qu)得了(le)突破性(xing)進展，并(bing)進行(xing)了(le)大規模產(chan)業化應(ying)用。

預(yu)訓(xun)練方面，百(bai)度(du)提出知(zhi)識增(zeng)強的(de)語義表示模(mo)型ERNIE及(ji)持續學習語義理解(jie)框架ERNIE2.0，在共(gong)計16個(ge)中英文任務上(shang)超(chao)越(yue)BERT、XLNET，取得了 SOTA 的(de)效果(guo)。11月，百(bai)度(du)發布基于ERNIE的(de)語義理解(jie)開發套件。從原理、應用到開源及(ji)平臺化，百(bai)度(du)在NLP預(yu)訓(xun)練領域進(jin)行了極具(ju)價值的(de)創(chuang)新(xin)及(ji)實踐。

機器(qi)閱讀(du)理(li)解，已成為評估機器(qi)語言理(li)解能力的重要(yao)方式，也是搜索引擎(qing)和對話系統(tong)等行業應(ying)用(yong)中(zhong)的關鍵技(ji)術(shu)。百度(du)建設(she)及發布(bu)了(le)最(zui)大規模(mo)的中(zhong)文閱讀(du)理(li)解數據集DuReader；在泛(fan)化方面(mian)提出訓練框(kuang)架D-NET，從(cong)多模(mo)型(xing)融合、多任務學習的角度(du)提升模(mo)型(xing)的泛(fan)化能力；

對(dui)(dui)于對(dui)(dui)抗樣本的(de)(de)攻擊，提出(chu)了一種面(mian)向閱讀理(li)(li)解(jie)(jie)的(de)(de)對(dui)(dui)抗訓練方(fang)法(fa)；提出(chu)文本表(biao)示和(he)知(zhi)識表(biao)示的(de)(de)融合(he)模(mo)型KT-NET，以解(jie)(jie)決需(xu)要外部知(zhi)識和(he)常識的(de)(de)問題。其中具有高魯棒性和(he)遷移能力(li)的(de)(de)閱讀理(li)(li)解(jie)(jie)模(mo)型在2019年MRQA閱讀理(li)(li)解(jie)(jie)評測中奪得冠(guan)軍。

對(dui)(dui)話(hua)方(fang)面(mian)，提(ti)出了(le)基于深度(du)(du)注(zhu)意網絡的(de)(de)多(duo)(duo)輪(lun)響應選擇匹配模型DAM(Deep Attention Matching Network)，顯著提(ti)高了(le)口語理解能(neng)力。在(zai)(zai)對(dui)(dui)話(hua)系統(tong)框架中，百(bai)度(du)(du)一方(fang)面(mian)提(ti)供(gong)(gong)了(le)可(ke)編程的(de)(de)對(dui)(dui)話(hua)管理框架，并內置(zhi)了(le)多(duo)(duo)個(ge)(ge)常(chang)用標準對(dui)(dui)話(hua)范式，為在(zai)(zai)云(yun)端開發(fa)靈活可(ke)變的(de)(de)業務(wu)對(dui)(dui)話(hua)邏輯提(ti)供(gong)(gong)了(le)便(bian)利(li)。另一方(fang)面(mian)，提(ti)供(gong)(gong)了(le)需求分發(fa)和全局(ju)記憶機制，支持多(duo)(duo)個(ge)(ge)對(dui)(dui)話(hua)任務(wu)的(de)(de)集成(cheng)(cheng)與聯(lian)動，提(ti)高了(le)對(dui)(dui)話(hua)技(ji)能(neng)的(de)(de)可(ke)復(fu)用性，降低了(le)新(xin)業務(wu)的(de)(de)重復(fu)開發(fa)成(cheng)(cheng)本。百(bai)度(du)(du)可(ke)定(ding)制對(dui)(dui)話(hua)技(ji)術依(yi)托百(bai)度(du)(du)大(da)腦UNIT3.0平臺，支持5萬多(duo)(duo)個(ge)(ge)對(dui)(dui)話(hua)技(ji)能(neng)，廣泛應用于行業客戶(hu)。

機(ji)器(qi)翻譯領(ling)域，百度(du)相繼提出了(le)多(duo)任務學習、多(duo)智能體聯合(he)訓練(lian)等前沿方法，并(bing)在2019年國際(ji)權威(wei)WMT評測中取得中英翻譯第一。機(ji)器(qi)同(tong)(tong)聲傳(chuan)譯方面百度(du)走在領(ling)域前沿，提出了(le)首(shou)個具有預測和可控時延的同(tong)(tong)傳(chuan)模型，首(shou)個語(yu)義單(dan)元驅動(dong)的上下文同(tong)(tong)傳(chuan)模型，并(bing)研發(fa)了(le)業(ye)內首(shou)個語(yu)音到語(yu)音的同(tong)(tong)傳(chuan)系統，為用戶提供高(gao)質量(liang)、低時延的同(tong)(tong)傳(chuan)體驗(yan)。值(zhi)得一提的是，基于在此領(ling)域取得的進(jin)(jin)步，由百度(du)主導，聯合(he)Google、Facebook、Upenn、清(qing)華等海內外頂尖企業(ye)及高(gao)校共同(tong)(tong)組織首(shou)屆(jie)機(ji)器(qi)同(tong)(tong)傳(chuan)研討會(hui)，將(jiang)(jiang)在本領(ling)域頂級(ji)會(hui)議ACL 2020召開(kai)，并(bing)將(jiang)(jiang)舉辦國際(ji)首(shou)屆(jie)同(tong)(tong)傳(chuan)評測，以進(jin)(jin)一步促進(jin)(jin)技術發(fa)展(zhan)(zhan)。此外，百度(du)還將(jiang)(jiang)在領(ling)域權威(wei)會(hui)議EMNLP 2020中舉辦機(ji)器(qi)同(tong)(tong)傳(chuan)tutorial，就機(ji)器(qi)同(tong)(tong)傳(chuan)的原理、方法、前沿進(jin)(jin)展(zhan)(zhan)進(jin)(jin)行講(jiang)座。

百(bai)度(du)自然語言處(chu)理領域產出(chu)的(de)(de)卓越成果背后所(suo)運用的(de)(de)底層框(kuang)架，是自研(yan)的(de)(de)開源深度(du)學(xue)(xue)習(xi)(xi)平(ping)臺百(bai)度(du)飛槳(jiang)。近兩年來，飛槳(jiang)圍繞深度(du)學(xue)(xue)習(xi)(xi)框(kuang)架的(de)(de)基(ji)本(ben)功(gong)能、性(xing)(xing)(xing)能、芯片(pian)支(zhi)持的(de)(de)完備性(xing)(xing)(xing)等(deng)技術(shu)指標進行(xing)了(le)(le)(le)一系(xi)列的(de)(de)易用性(xing)(xing)(xing)開發和(he)性(xing)(xing)(xing)能迭代，為開發者提(ti)供了(le)(le)(le)優于其他深度(du)學(xue)(xue)習(xi)(xi)框(kuang)架的(de)(de)使用體驗(yan)。在開發能力方(fang)面，飛槳(jiang)除了(le)(le)(le)支(zhi)持對常用API的(de)(de)調用之外，還(huan)在編程范式上(shang)同時支(zhi)持聲(sheng)明式編程和(he)命令(ling)式編程，兼具很(hen)好(hao)的(de)(de)靈(ling)活(huo)性(xing)(xing)(xing)和(he)穩定性(xing)(xing)(xing)，可滿足(zu)不同開發者的(de)(de)開發習(xi)(xi)慣，更(geng)易上(shang)手。在訓練方(fang)面，飛槳(jiang)平(ping)臺突破(po)了(le)(le)(le)超大(da)規模(mo)深度(du)學(xue)(xue)習(xi)(xi)模(mo)型訓練技術(shu)，研(yan)制了(le)(le)(le)千億(yi)特征、萬億(yi)參數(shu)、數(shu)百(bai)節點的(de)(de)開源大(da)規模(mo)訓練平(ping)臺，實現了(le)(le)(le)萬億(yi)規模(mo)參數(shu)深度(du)學(xue)(xue)習(xi)(xi)模(mo)型的(de)(de)實時更(geng)新。在自然語言處(chu)理領域，PADDLE-NLP提(ti)供了(le)(le)(le)面向6類任(ren)務下(xia)的(de)(de)30+算法(fa)模(mo)型，包括(kuo)上(shang)述工作中ERNIE、D-NET等(deng)多個國(guo)際競賽的(de)(de)冠軍模(mo)型。