一些對我們而言輕而易舉的事情，對于聽障人士來說，卻非常困難——比如“看”冬奧會。這次他們有福了！據(jù)悉，將有一位“數(shù)字主播”——手語播報AI數(shù)字人亮相北京2022冬奧會和冬殘奧會，她會在大屏幕上根據(jù)主持人的語音用手語將冬奧賽事進(jìn)行同步播報。

9月24日，在2021中關(guān)村論壇之“人工智能與多學(xué)科協(xié)同創(chuàng)新”平行論壇上，北京智源人工智能研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰發(fā)布了“冬奧手語播報數(shù)字人系統(tǒng)”成果 圖片來源/中國科學(xué)報 鄭金武攝影

根據(jù)國內(nèi)統(tǒng)計數(shù)據(jù)，中國有超過2700萬聽障人士，對教育、社交、娛樂、信息獲取有巨大的需求。如果算上需要與他們交流的親人、朋友和同事，更是會涉及到上億人。

傳統(tǒng)的手語播報，主要靠手勢來傳遞信息，一方面因不同的人有不同的手勢習(xí)慣，容易造成信息傳遞偏差；另一方面，會造成手語播報主持人翻譯工作量大、與節(jié)目主持人配合難度高，從一定程度上限制了聽障人士對于信息的獲取。手語播報AI數(shù)字人首先可以避免“千人千面”，始終保持統(tǒng)一；其次，可以根據(jù)收聽到的語音，自動實時生成手語手勢，提供精確的播報服務(wù)。

數(shù)字手語主播不僅需要真實的數(shù)字人形象，也需要能夠理解、翻譯語音和手語的數(shù)字大腦。手語播報數(shù)字人，是一個“智能人”，它不僅擁有生動的表情神態(tài)、豐富的肢體語言，還擁有“大腦”——能夠理解、翻譯語音和手語的數(shù)字雙輪驅(qū)動虛擬數(shù)字腦。它配置了口形、表情、姿態(tài)、手部動作等多種素材以便進(jìn)行“表情管理”。

2021年9月23日，北京，2021年中關(guān)村論壇上手語播報數(shù)字人 圖片來源/視覺中國

為了提高冬奧播報的準(zhǔn)確性，研發(fā)團隊還對手語播報數(shù)字人進(jìn)行了“培訓(xùn)”，構(gòu)建了冬奧手語語料庫，包括多模態(tài)肢體動作、表情、手指等語料，教授數(shù)字腦掌握手語表達(dá)的方法。同時，手語數(shù)字腦可以通過計算機模仿聽障人士的大腦，將看到的中文文本信息轉(zhuǎn)換成手語詞匯序列，讓聽障人士實時了解賽事進(jìn)程。通過AI技術(shù)將播報內(nèi)容翻譯合成為手語，并利用數(shù)字人虛擬主播來播報，成為解決這一難題的重要途徑。

手語數(shù)字播報的實現(xiàn)，是因為背后有“悟道2.0”超大規(guī)模人工智能模型的技術(shù)支撐。結(jié)合冬奧會的有關(guān)信息，悟道大模型可以實現(xiàn)文本到手勢的自動轉(zhuǎn)化。當(dāng)播報員播報時，數(shù)字人可以將文字轉(zhuǎn)換成手語，方便聽障人士收看賽事專題報道，這是“悟道2.0”超大規(guī)模預(yù)訓(xùn)練模型的首次實際場景應(yīng)用。依托“數(shù)據(jù)”與“知識”，冬奧期間賽事新聞實現(xiàn)了實時手語翻譯播報，填補了這一領(lǐng)域的空白。

2021年6月3日，觀眾在2021北京智源大會上參觀智能模型“悟道2.0”的資料介紹?！拔虻?.0”模型的參數(shù)規(guī)模達(dá)到1.75萬億，是目前中國首個、全球最大的萬億級模型 圖片來源/視覺中國

據(jù)了解，這一“冬奧手語播報數(shù)字人系統(tǒng)”由北京市科委、北京市殘聯(lián)發(fā)起，科技冬奧專項支持，智譜AI、凌云光和北京廣播電視臺聯(lián)合打造，項目還得到了市殘聯(lián)聾人協(xié)會的大力支持。

數(shù)字人的未來不只是手語播報，隨著人工智能技術(shù)的不斷演進(jìn)，數(shù)字人也進(jìn)入了其它領(lǐng)域，如向大家介紹空間站情況的數(shù)字記者小諍、游戲直播行業(yè)涌現(xiàn)的各類虛擬人物等。

如今，在技術(shù)蓬勃發(fā)展的新風(fēng)口下，數(shù)字人不僅達(dá)到了人像的寫實級逼真程度，還具備了一定的溝通交流能力。虛擬互動技術(shù)的擴展，讓數(shù)字人可以進(jìn)入到醫(yī)學(xué)、礦學(xué)和航天學(xué)等精細(xì)或危險領(lǐng)域。未來，數(shù)字人將具備類似人的看、聽、說和知識邏輯能力，人工智能將進(jìn)一步發(fā)展。讓我們翹首以待吧！