9月18日,由中國中文信息學(xué)會(CIPS)和中國計算機(jī)學(xué)會(CCF)共同發(fā)起并聯(lián)合主辦的第七屆語言與智能高峰論壇召開。論壇上,2022語言與智能技術(shù)競賽賽事組委會為各獲獎團(tuán)隊舉行了頒獎,賽事各冠軍團(tuán)隊就參賽技術(shù)方案作詳細(xì)報告。
語言與智能技術(shù)競賽由中國中文信息學(xué)會和中國計算機(jī)學(xué)會聯(lián)合主辦,百度、中國中文信息學(xué)會評測工作委員會和中國計算機(jī)學(xué)會自然語言處理專委會承辦。自2018年舉辦以來,憑借面向真實應(yīng)用場景的任務(wù)設(shè)計和源自真實場景的數(shù)據(jù)集,該競賽已成為全球最權(quán)威、最熱門的中文NLP賽事之一。2022屆競賽進(jìn)一步升級,聯(lián)合“千言”數(shù)據(jù)集開源項目,設(shè)置了段落檢索、知識對話、情感可解釋、視頻語義理解四大任務(wù),覆蓋了跨模態(tài)、知識驅(qū)動、可信學(xué)習(xí)等前沿課題,具有較高的學(xué)術(shù)和產(chǎn)業(yè)價值。
賽題任務(wù)的全面升級受到了來自學(xué)術(shù)界與產(chǎn)業(yè)界的廣泛關(guān)注。據(jù)統(tǒng)計,本屆競賽共計約2500支團(tuán)隊報名,參賽選手覆蓋全球262所高校和208家企業(yè),提交有效結(jié)果超過7000份。其中,高校選手占比約52%,來自清華大學(xué)、北京大學(xué)、復(fù)旦大學(xué)、中國人民大學(xué)、中國科學(xué)院大學(xué)、伊利諾伊理工大學(xué)、悉尼大學(xué)等國內(nèi)外知名高校;企業(yè)選手占比約34%,來自中國移動、聯(lián)通、平安保險、華為、騰訊、網(wǎng)易、小米、小鵬汽車、海康威視、施耐德電氣等知名企業(yè),覆蓋了金融、互聯(lián)網(wǎng)、傳媒、通信、工程機(jī)械、能源、生物等多個行業(yè)。
經(jīng)過激烈的競爭,最終來自中國科學(xué)技術(shù)大學(xué)、香港中文大學(xué)、阿里巴巴、騰訊、商湯科技等高校與企業(yè)的共計16支團(tuán)隊獲獎。
段落檢索賽題獲獎團(tuán)隊
知識對話賽題獲獎團(tuán)隊
情感可解釋賽題獲獎團(tuán)隊
視頻語義理解賽題獲獎團(tuán)隊
賽事優(yōu)勝團(tuán)隊在參賽方案中均使用了預(yù)訓(xùn)練語言模型,也提出了很多創(chuàng)新思路和方案,并取得了大幅的效果提升。相較于賽事官方的基線成績,段落檢索任務(wù)提升了15.40%,知識對話任務(wù)提升了142.86%,情感可解釋任務(wù)提升了77.12%,視頻語義理解任務(wù)提升了50%,各團(tuán)隊的技術(shù)方案有力地推動了相關(guān)任務(wù)的技術(shù)探索。在論壇的評測報告環(huán)節(jié),四大任務(wù)的冠軍團(tuán)隊對各自的參賽方案做了分享。
在段落檢索任務(wù)中,來自中國科學(xué)技術(shù)大學(xué)的“young的團(tuán)隊”提出了一種基于弱監(jiān)督數(shù)據(jù)預(yù)訓(xùn)練的開放問答段落檢索方法,該方法可以有效提升檢索準(zhǔn)確率。在知識對話賽題中,來自騰訊的“拿件T恤就溜”團(tuán)隊,設(shè)計了一個基于實時知識搜索API的知識對話系統(tǒng),實驗表明該方案可以顯著提升對話整體的連貫性和吸引力。在情感可解釋任務(wù)中,阿里巴巴的“Ali_農(nóng)民工團(tuán)隊” 提出了一個基于通用信息抽取統(tǒng)一框架 UIE的情感可解釋分析方法,該方法根據(jù)情感可解釋任務(wù)的特點,使用few-shot、文本聚類等方法,提高了模型的合理性、忠誠性。在視頻語義理解任務(wù)中,來自商湯科技&香港科技大學(xué)的“商湯NLP×LaVi的團(tuán)隊”針對分類標(biāo)簽預(yù)測任務(wù)和語義標(biāo)簽預(yù)測任務(wù),分別設(shè)計了對應(yīng)方案,提出了基于多模態(tài)學(xué)習(xí)的視頻語義理解模型,并通過數(shù)據(jù)增強(qiáng)、數(shù)據(jù)加權(quán)和多模型集成進(jìn)一步提升方案性能,最終脫穎而出。
針對此次競賽,百度自然語言處理部主任架構(gòu)師劉璟進(jìn)行了總結(jié),他表示:“四大任務(wù)的優(yōu)勝方案相對基線均大幅提升。各優(yōu)勝隊伍均基于預(yù)訓(xùn)練模型進(jìn)行了一系列的創(chuàng)新,如采用prompting技術(shù)、面向任務(wù)的預(yù)訓(xùn)練等,有效地推動了技術(shù)的進(jìn)步。目前來看,知識融合、可信學(xué)習(xí)、跨模態(tài)等技術(shù)在應(yīng)用落地中還存在很多挑戰(zhàn),未來需要更大地突破。”
值得一提的是,本次競賽數(shù)據(jù)集均來自于千言中文開源數(shù)據(jù)集項目。千言是面向自然語言處理的中文開源數(shù)據(jù)共建項目,由中國計算機(jī)學(xué)會、中國中文信息學(xué)會和百度聯(lián)合發(fā)起,目前已有近20家單位的數(shù)據(jù)集作者參與共建,已有覆蓋文本生成、情感分析、閱讀理解等15個任務(wù)方向的近60個中文NLP開源數(shù)據(jù)集入駐。
千言官網(wǎng)
2022語言與智能競賽發(fā)布了首個來自搜索引擎的大規(guī)模中文段落檢索數(shù)據(jù)集DuReader_retrieval、首個服務(wù)信息增強(qiáng)對話數(shù)據(jù)集DuSinc、首個細(xì)粒度中文情感可解釋評測數(shù)據(jù)集DuExplain、視頻語義理解數(shù)據(jù)集 DuVideoTag。賽后,開發(fā)者可繼續(xù)在千言數(shù)據(jù)集官網(wǎng)下載使用以上數(shù)據(jù)集,并參與相應(yīng)的榜單評測,不斷提升技術(shù)水平,實現(xiàn)創(chuàng)新發(fā)展。
語言是人類信息傳遞最重要的媒介,近年來自然語言處理領(lǐng)域獲得了產(chǎn)學(xué)研各界的持續(xù)關(guān)注。語言與智能技術(shù)競賽將繼續(xù)提供面向真實應(yīng)用場景的數(shù)據(jù)集和富有挑戰(zhàn)性的任務(wù)設(shè)定,引領(lǐng)學(xué)術(shù)研究面向真實應(yīng)用,提升語言理解與人機(jī)交互智能水平,為推動語言與智能領(lǐng)域技術(shù)發(fā)展和應(yīng)用貢獻(xiàn)力量。
更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<