沒有好問題，就沒有好答案。
百度技術(shù)積累如何，比起谷歌微軟的搜索會(huì)有什么優(yōu)勢(shì)？
百度的大模型參數(shù)比ChatGPT多近50%，質(zhì)量會(huì)更好嗎？
————
之前文章提過，北京時(shí)間2月7日，谷歌發(fā)布了Bard，直接與ChatGPT競(jìng)爭(zhēng)，而微軟緊接著發(fā)布了新Bing，這個(gè)ChatGPT技術(shù)支持的搜索引擎驚艷四座。兩家公司分別上漲了4%多一點(diǎn)。
同樣在2月7日，百度對(duì)外證實(shí)正在打造中國版的類ChatGPT項(xiàng)目，隨即，百度股票漲了15%。百度的微信官宣，項(xiàng)目名為文心一言（英文名ERNIE Bot）。其中，“ERNIE”是“Enhanced Representation through Knowledge Integration”的縮寫，即“通過知識(shí)集成實(shí)現(xiàn)增強(qiáng)型表達(dá)”。
資本市場(chǎng)給予了類ChatGPT項(xiàng)目很高的期待。2月1日，便有消息傳出，百度將于3月在國內(nèi)推出類似ChatGPT的智能聊天程序，截至當(dāng)日收盤，百度港股股價(jià)報(bào)收于144.3港元，漲幅達(dá)到8.66%。
美國投行麥格理稱，百度可見的上行驚喜將會(huì)是公司有機(jī)會(huì)在中國推出類似ChatGPT的人工智能(AI)聊天機(jī)器人，該公司將百度2023年、2024年兩年經(jīng)調(diào)整每股盈測(cè)分別上調(diào)13%、4%，并預(yù)計(jì)2023年經(jīng)調(diào)整經(jīng)營利潤率將提高2.4個(gè)百分點(diǎn)至18.3%。資管巨頭貝萊德則增加持倉，將其在百度的持股比例增至6.6％，成為該公司最大股東之一。但隨后2月8日百度股價(jià)有所回落，2月9日百度股價(jià)低開低走。
為什么百度股票漲得這么多？
百度方面表示，“百度是國內(nèi)少有的擁有大模型技術(shù)的企業(yè)，其從2019年開始進(jìn)行大模型探索，打造文心大模型家族，包含PLATO、ERNIE 3.0等多個(gè)NLP大模型，其中PLATO也主打?qū)υ捊换ァ募夹g(shù)上看，文心過往在NLP模型上的實(shí)踐，將成為百度打造‘文心一言’的基礎(chǔ)。”
據(jù)百度方面介紹，開發(fā)中國的ChatGPT，百度并不是從零開始，百度在人工智能領(lǐng)域已經(jīng)深耕數(shù)十年了。
目前的文心系列大模型參數(shù)規(guī)模達(dá)到2600億，比GPT-3的1750億參數(shù)多48.5%。具備跨模態(tài)、跨語言的深度語義理解與生成能力，表現(xiàn)超越谷歌的T5和OpenAI的GPT-3，是全球最大的中文單體模型。
百度同時(shí)具備人工智能需要的算力、算法和數(shù)據(jù)，并且在底層的芯片、深度學(xué)習(xí)框架、大模型以及最上層的搜索等應(yīng)用四層技術(shù)棧均有布局。擁有產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)文心大模型ERNIE ，具備跨模態(tài)、跨語言的深度語義理解與生成能力。
許多人表示，看好百度以及相關(guān)廠商在國內(nèi)的布局能力，原因是他們有中文語言優(yōu)勢(shì)，有國內(nèi)領(lǐng)域相關(guān)數(shù)據(jù)積累。當(dāng)然，國內(nèi)廠商目前在基礎(chǔ)模型及預(yù)訓(xùn)練模型方面與國外有差距。但相信會(huì)在不久的將來會(huì)減少差距。在特定的場(chǎng)景，各有優(yōu)勢(shì)。
百度的野心
就在ChatGPT上線后不久，2022年12月末的百度全員會(huì)（內(nèi)部稱為“簡(jiǎn)單之約”）上，百度創(chuàng)始人、董事長兼CEO李彥宏就被員工問到如何評(píng)價(jià)引發(fā)巨大關(guān)注的 ChatGPT，以及百度有什么部署。
李彥宏當(dāng)時(shí)說道：“最近有許多人問類似的問題，不只是同業(yè)、同領(lǐng)域的朋友，還有許多不同領(lǐng)域，跨界的人都在關(guān)注，很高興我們天天琢磨的技術(shù)方向，能夠讓這么多人關(guān)注，確實(shí)是挺不容易的。”
“我們做了這么多年的AI之后，發(fā)現(xiàn)過去AI試圖理解人、模仿人，現(xiàn)在AI可以生成內(nèi)容?！崩顝┖晖嘎叮鋵?shí)在這個(gè)領(lǐng)域，百度在過去很多年都有技術(shù)的積累。
百度表示，目前文心一言（英文名ERNIE Bot）在做上線前的沖刺準(zhǔn)備工作，預(yù)計(jì)三月份完成內(nèi)測(cè)，面向公眾開放。
從商業(yè)價(jià)值上看，OpenAI已經(jīng)初步證明了ChatGPT的商業(yè)化可行性。OpenAI預(yù)測(cè)，2023年將實(shí)現(xiàn)收入2億美元，2024年將超過10億美元。Sam Altman 最近對(duì)投資者表示，OpenAI很快就能產(chǎn)生高達(dá)10億美元的年收入，部分是通過向消費(fèi)者和企業(yè)收取產(chǎn)品費(fèi)用實(shí)現(xiàn)的。
而微軟的發(fā)布會(huì)上，新搜索Bing和新瀏覽器Edge都放大了OpenAI技術(shù)的價(jià)值，說明了其對(duì)搜索引擎的賦能是改變搜索引擎市場(chǎng)格局的關(guān)鍵。
百度的野心首先是在搜索上，有接近百度相關(guān)人士向記者透露，百度搜索早就接入了文心相關(guān)技術(shù)。
去年9月，李彥宏公開表示，人工智能發(fā)展在“技術(shù)層面和商業(yè)應(yīng)用層面，都有方向性改變”。
在近期流出的一份百度內(nèi)部講話中，李彥宏再次強(qiáng)調(diào)“技術(shù)已經(jīng)到了臨界點(diǎn)，類似ChatGPT這樣的技術(shù)如何運(yùn)用在搜索場(chǎng)景上，未來一年，在這方面我們非常有機(jī)會(huì)”。
2月8日，經(jīng)媒體披露，百度CEO李彥宏2023年一季度OKR關(guān)鍵任務(wù)為“引領(lǐng)搜索體驗(yàn)的代際變革”。
顯然，百度搜索或?qū)⑷€接入文心一言，搜索產(chǎn)品將迎來顛覆性變化。一些相關(guān)功能已陸續(xù)在百度搜索內(nèi)上線或內(nèi)測(cè)，包括多答案回復(fù)、智能生成等。
另外，小度將融合文心一言的全面能力打造針對(duì)智能設(shè)備場(chǎng)景的人工智能模型，“小度靈機(jī)”應(yīng)用到小度全系產(chǎn)品。
從百度相關(guān)商標(biāo)注冊(cè)的范圍看，百度未來會(huì)把AI技術(shù)鋪開到更廣泛的應(yīng)用范圍。百度已申請(qǐng)注冊(cè)多件“ERNIE”、“ERNIEAI”、“ERNIENLP”、“ERNIE-VILG”商標(biāo)，國際分類包括網(wǎng)站服務(wù)、科學(xué)儀器，商標(biāo)最早申請(qǐng)時(shí)間是2019年6月，最新申請(qǐng)于今年1月3日，多件商標(biāo)已注冊(cè)成功。
其他大廠摩拳擦掌
除百度之外，國內(nèi)各個(gè)大廠也在試圖抓住ChatGPT帶來的熱度。
列舉如下：
阿里
此前，有媒體報(bào)道，阿里達(dá)摩院正在研發(fā)類chatgpt的對(duì)話機(jī)器人，從曝光截圖來看，阿里巴巴可能將ai大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。阿里確認(rèn)，其ChatGPT產(chǎn)品也已經(jīng)在研發(fā)中，目前處于內(nèi)測(cè)階段。據(jù)透露，新產(chǎn)品可實(shí)現(xiàn)的功能包括知識(shí)問答、AI繪畫、代碼生成、小說續(xù)寫、文案撰寫、寫詩作詞等。也就是說，不僅ChatGPT具備的能力它都能實(shí)現(xiàn)，而且多了“AI繪畫”這項(xiàng)功能。
據(jù)了解，2023年1月，阿里巴巴達(dá)摩院曾發(fā)布2023年十大科技趨勢(shì)，其中多模態(tài)預(yù)訓(xùn)練大模型、生成式ai在列。在這些可能照進(jìn)現(xiàn)實(shí)的科技趨勢(shì)中，達(dá)摩院認(rèn)為，基于多模態(tài)的預(yù)訓(xùn)練大模型將實(shí)現(xiàn)圖文音統(tǒng)一知識(shí)表示，成為人工智能（ai）基礎(chǔ)設(shè)施。生產(chǎn)式ai進(jìn)入應(yīng)用爆發(fā)期，將極大推動(dòng)數(shù)字內(nèi)容生產(chǎn)與創(chuàng)造。
360
2月7日，三六零在互動(dòng)平臺(tái)表示，公司的人工智能研究院從2020年開始一直在包括類ChatGPT技術(shù)在內(nèi)的AIGC技術(shù)上有持續(xù)性的投入，但截至目前僅作為內(nèi)部業(yè)務(wù)自用的生產(chǎn)力工具使用，且投資規(guī)模及技術(shù)水平與當(dāng)前的ChatGPT 3相比還有較大差距，各項(xiàng)技術(shù)指標(biāo)只能做到略強(qiáng)于ChatGPT 2。
由于訓(xùn)練數(shù)據(jù)源及應(yīng)用方向的原因，在中文環(huán)境下的實(shí)際效果強(qiáng)于ChatGPT 2。360在數(shù)據(jù)資源端有豐富的多模態(tài)大數(shù)據(jù)積累和相關(guān)語料，尤其是中文語料，相較于國外同行落后的是預(yù)訓(xùn)練大模型和有效的多模態(tài)數(shù)據(jù)清洗與融合技術(shù)。公司有充足的資金儲(chǔ)備可用于購買大規(guī)模算力，在繼續(xù)深入自行研發(fā)的同時(shí)，不排除尋找強(qiáng)有力的合作伙伴，以開放的心態(tài)搭建多方共享平臺(tái)、補(bǔ)足短板，快速縮小差距。公司也計(jì)劃盡快推出類ChatGPT技術(shù)的demo版產(chǎn)品。AIGC技術(shù)除了在搜索引擎的應(yīng)用之外，還可以輔助數(shù)字安全能力的提升。
網(wǎng)易
2月8日，據(jù)報(bào)道，網(wǎng)易有道未來或?qū)⑼瞥鯟hatGPT同源技術(shù)產(chǎn)品，應(yīng)用場(chǎng)景圍繞在線教育。網(wǎng)易有道一度漲超18%。
據(jù)相關(guān)負(fù)責(zé)人透露，網(wǎng)易有道的AI團(tuán)隊(duì)此前便投入到ChatGPT同源技術(shù)產(chǎn)品的研發(fā)。去年底嘗試AIGC在教育場(chǎng)景中的落地應(yīng)用，包括但不限于AI口語老師、中文作文打分和評(píng)價(jià)等。網(wǎng)易有道還表示，其在學(xué)習(xí)和翻譯場(chǎng)景下積累了豐富的多模態(tài)數(shù)據(jù)和相關(guān)語料，一直通過有道智云平臺(tái)向外輸出。
近年來，團(tuán)隊(duì)在神經(jīng)網(wǎng)絡(luò)翻譯、計(jì)算機(jī)視覺、智能語音AI技術(shù)、高性能計(jì)算等關(guān)鍵技術(shù)方面均取得重要突破。
“產(chǎn)品的最終形態(tài)團(tuán)隊(duì)還在討論中，需要匹配用戶需求來決定，智能硬件、在線課程都可能是考慮落地的場(chǎng)景。”網(wǎng)易有道稱。
騰訊
騰訊稱，目前在相關(guān)方向上已有布局，專項(xiàng)研究也在有序推進(jìn)。騰訊持續(xù)投入AI等前沿技術(shù)的研發(fā)，基于此前在AI大模型、機(jī)器學(xué)習(xí)算法以及NLP等領(lǐng)域的技術(shù)儲(chǔ)備，將進(jìn)一步開展前沿研究及應(yīng)用探索。據(jù)悉，2月3日，騰訊科技（深圳）有限公司申請(qǐng)的“人機(jī)對(duì)話方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”專利獲授權(quán)。
ChatGPT將是騰訊發(fā)展的一個(gè)巨大機(jī)遇，聊天式界面天然與微信相洽，許多人都在期待騰訊的時(shí)間表。
京東
2月9日，京東集團(tuán)副總裁、IEEE Fellow何曉冬表示，京東一直在ChatAI 和AIGC賽道上推進(jìn)，但更聚焦2B行業(yè)，近期將有進(jìn)一步突破，包括在這一賽道上推出下一代產(chǎn)品。何曉冬透露，京東云旗下言犀人工智能平臺(tái)，將依托自身10余年智能對(duì)話經(jīng)驗(yàn)的積累，加上在京東零售、物流、金融、健康等各業(yè)務(wù)的多年實(shí)踐，日均千萬次智能交互，未來借助ChatGPT等相關(guān)技術(shù)成果，將加速我國在人工智能的應(yīng)用落地。而結(jié)合京東大規(guī)模、豐富的應(yīng)用場(chǎng)景和多年的技術(shù)積累，聚焦文本、聲音和數(shù)字人生成4個(gè)方面開展工作。
京東云旗下言犀人工智能應(yīng)用平臺(tái)宣布推出產(chǎn)業(yè)版ChatGPT：ChatJD，并公布了ChatJD的落地應(yīng)用路線圖“125”計(jì)劃。包含一個(gè)平臺(tái)、兩個(gè)領(lǐng)域、五個(gè)應(yīng)用。
1個(gè)平臺(tái)是指ChatJD智能人機(jī)對(duì)話平臺(tái)，即自然語言處理中理解和生成任務(wù)的對(duì)話平臺(tái)，預(yù)計(jì)參數(shù)量達(dá)千億級(jí)；2個(gè)領(lǐng)域分別為零售、金融；5個(gè)應(yīng)用包含內(nèi)容生成、人機(jī)對(duì)話、用戶意圖理解、信息抽取、情感分類，涵蓋零售和金融行業(yè)復(fù)用程度最高的應(yīng)用場(chǎng)景。
作業(yè)幫
作業(yè)幫也向媒體透露，關(guān)于ChatGPT在教育領(lǐng)域的應(yīng)用，該公司已經(jīng)在做一些小樣測(cè)試，主要還是在原來作業(yè)幫的產(chǎn)品上，等產(chǎn)品成熟度較高后，會(huì)在聰明學(xué)系統(tǒng)里進(jìn)行應(yīng)用。
作業(yè)幫表示，多年來其在預(yù)訓(xùn)練語言模型中有持續(xù)投入，在教育相關(guān)場(chǎng)景下的多個(gè)垂類應(yīng)用都有落地，包括題意理解、知識(shí)點(diǎn)分類、作文批改、智能質(zhì)檢等。
“比如，行業(yè)之前做考試批閱的普遍做法是圍繞圖像比對(duì)來進(jìn)行，現(xiàn)在我們已經(jīng)能對(duì)一些數(shù)學(xué)題本身進(jìn)行測(cè)算和深度理解、處理，這其實(shí)是相似的技術(shù)?！弊鳂I(yè)幫執(zhí)行總裁蘇靜表示。
科大訊飛
科大訊飛表示，已于2022年12月進(jìn)一步啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān)。2023年5月6日，將進(jìn)行產(chǎn)品級(jí)發(fā)布，AI學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品。其技術(shù)突破將在中英文作文輔導(dǎo)、中英文口語學(xué)習(xí)等方面帶來顯著提升。
消息放出后，科大訊飛股價(jià)一度上漲30%，2月10日午盤，科大訊飛上漲4.66%。
字節(jié)跳動(dòng)
唯一不跟風(fēng)的是字節(jié)跳動(dòng)，2月9日有傳聞稱，字節(jié)跳動(dòng)的人工智能實(shí)驗(yàn)室(AI Lab)有開展類似ChatGPT和AIGC的相關(guān)研發(fā)，未來或?yàn)槠煜碌腜ICO公司提供技術(shù)支持。但 PICO相關(guān)負(fù)責(zé)人直接對(duì)傳聞進(jìn)行了否認(rèn)，表示，PICO目前沒有采用類似ChatGPT技術(shù)的產(chǎn)品規(guī)劃。不過，對(duì)于AI Lab是否正在研發(fā)ChatGPT，字節(jié)跳動(dòng)沒有做出回應(yīng)。
在中國的AI模型中，你最看好哪一家？
百度 ERNIE發(fā)展歷程
文心( ERNIE) 依托百度的深度學(xué)習(xí)平臺(tái)飛槳打造，將機(jī)器理解語言的水平提升到新的高度，全面刷新了各項(xiàng)NLP任務(wù)的世界最好效果，取得了諸多權(quán)威語義評(píng)測(cè)比賽的世界冠軍。 除語言理解外，提出的基于多流機(jī)制生成完整語義片段語言生成技術(shù)ERNIE-GEN、知識(shí)增強(qiáng)跨模態(tài)語義理解技術(shù)ERNIE-ViL等，均達(dá)到世界領(lǐng)先水平。自2019年誕生至今，在語言理解、文本生成、跨模態(tài)語義理解等領(lǐng)域取得多項(xiàng)技術(shù)突破，在公開權(quán)威語義評(píng)測(cè)中斬獲了十余項(xiàng)世界冠軍。
文心平臺(tái)基于領(lǐng)先的語義理解核心技術(shù)，內(nèi)置百度自研業(yè)界效果領(lǐng)先的預(yù)訓(xùn)練模型集ERNIE和全面領(lǐng)先的算法集，將文本數(shù)據(jù)處理、基于深度學(xué)習(xí)的模型訓(xùn)練、模型評(píng)估和上線部署等NLP開發(fā)流程進(jìn)行易用性封裝，為NLP開發(fā)者提供一整套效果領(lǐng)先、簡(jiǎn)單易用、高效靈活的NLP模型開發(fā)服務(wù)，文心平臺(tái)已廣泛應(yīng)用于金融、通信、教育、電商等行業(yè)。
下面簡(jiǎn)單回顧下其發(fā)展歷程。
2019年3月，ERNIE 1.0 問世
2019年3月，百度開發(fā)了文心ERNIE語言模型，推出1.0版。
百度文心大模型是基于國產(chǎn)深度學(xué)習(xí)框架發(fā)展的，打造了自主創(chuàng)新的AI底座，大幅降低了AI開發(fā)和應(yīng)用的門檻，滿足真實(shí)場(chǎng)景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動(dòng)AI規(guī)?；瘧?yīng)用的產(chǎn)業(yè)價(jià)值。文心大模型的一大特色是“知識(shí)增強(qiáng)”，即引入知識(shí)圖譜，將數(shù)據(jù)與知識(shí)融合，提升了學(xué)習(xí)效率及可解釋性。
2019年12月，文心就在國際權(quán)威的通用語言理解評(píng)估基準(zhǔn) GLUE 上，首次突破90分，超過人類水平3個(gè)百分點(diǎn)，刷新榜單得分并獲得全球第一。
2020年，ERNIE榮獲WAIC最高獎(jiǎng)
2020年3月，在全球最大規(guī)模之一的語義評(píng)測(cè) SemEval 2020上取得了5項(xiàng)世界冠軍。2020年7月，文心登頂視覺常識(shí)推理權(quán)威榜單 VCR。
2020年7月，文心在多模態(tài)語義理解領(lǐng)域取得突破，提出了業(yè)界首個(gè)基于場(chǎng)景圖知識(shí)增強(qiáng)的多模態(tài)預(yù)訓(xùn)練模型ERNIE-ViL，在多項(xiàng)典型多模態(tài)任務(wù)上刷新世界最好效果。2020年7月9日，文心ERNIE榮獲世界人工智能大會(huì)WAIC最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng) (Super AI Leader，卓越人工智能引領(lǐng)者)。
從這時(shí)開始，百度搜索就開始應(yīng)用“文心大模型”技術(shù)，深度賦能搜索的相關(guān)性、深度問答和內(nèi)容理解等。百度全系列產(chǎn)品都在逐步使用文心大模型。
2021年5月，開源四個(gè)ERNIE預(yù)訓(xùn)練模型
2021年5月20日，依靠飛槳外圍框架，百度文心 ERNIE 最新開源四大預(yù)訓(xùn)練模型：多粒度語言常識(shí)加強(qiáng)模型 ERNIE-Gram、長文本了解模型 ERNIE-Doc、交融場(chǎng)景圖常識(shí)的跨模態(tài)了解模型 ERNIE-ViL、語言與視覺一體的模型 ERNIE-UNIMO。
針對(duì)以后預(yù)訓(xùn)練模型現(xiàn)存的難點(diǎn)痛點(diǎn)，此次文心 ERNIE 開源的四大預(yù)訓(xùn)練模型不僅在文本語義了解、長文本建模和跨模態(tài)了解三大畛域獲得沖破，還領(lǐng)有寬泛的利用場(chǎng)景和前景，進(jìn)一步助力產(chǎn)業(yè)智能化降級(jí)。
基于ERNIE，對(duì)百度搜索也進(jìn)行了升級(jí)，又要求將大模型作為整個(gè)系統(tǒng)的核心引擎，應(yīng)用于檢索和生成，并將搜索引擎升級(jí)為檢索生成雙模系統(tǒng)。
2021年12月，發(fā)布2600億參數(shù)的ERNIE 3.0
2021年12月 鵬城-百度·文心(ERNIE 3.0 Titan)正式發(fā)布，該模型參數(shù)規(guī)模達(dá)到2600億，比 GPT-3 的參數(shù)量多 48.5% 。這是目前全球最大中文單體模型，在機(jī)器閱讀理解、文本分類、語義相似度計(jì)算等60多項(xiàng)任務(wù)取得最好效果，并在30余項(xiàng)小樣本和零樣本任務(wù)上刷新基準(zhǔn)。
不過，大模型不僅僅是比模型參數(shù)，跟語料和訓(xùn)練方法，人工監(jiān)督的參與都有關(guān)系。所以，谷歌出的16000億參數(shù)的模型，依然不如GPT-3。百度的這個(gè)模型，可能也有較多差距。但大概率比中國的某家機(jī)構(gòu)推出的萬億參數(shù)的模型好。
ERNIE 3.0首次在百億級(jí)和千億級(jí)預(yù)訓(xùn)練模型中引入大規(guī)模知識(shí)圖譜，提出了海量無監(jiān)督文本與大規(guī)模知識(shí)圖譜的平行預(yù)訓(xùn)練方法。通過將大規(guī)模知識(shí)圖譜的實(shí)體關(guān)系與大規(guī)模文本數(shù)據(jù)同時(shí)輸入到預(yù)訓(xùn)練模型中進(jìn)行聯(lián)合掩碼訓(xùn)練，促進(jìn)了結(jié)構(gòu)化知識(shí)和無結(jié)構(gòu)文本之間的信息共享，大幅提升了模型對(duì)于知識(shí)的記憶和推理能力。在此基礎(chǔ)上，ERNIE 3.0 提出了將通用語義表示與任務(wù)語義表示相結(jié)合的模型框架，該框架融合自編碼和自回歸等不同的任務(wù)語義表示網(wǎng)絡(luò)，既可同時(shí)處理語言理解和語言生成任務(wù)，還能做無標(biāo)注數(shù)據(jù)的零樣本學(xué)習(xí)（Zero-shot Learning）和有標(biāo)注數(shù)據(jù)的微調(diào)訓(xùn)練（Fine-tuning）。
在此基礎(chǔ)上，鵬城-百度·文心中提出了可控學(xué)習(xí)和可信學(xué)習(xí)算法。
在可控學(xué)習(xí)方面，模型具備了不同類型的零樣本生成能力。使用者可以將指定的體裁、情感、長度、主題、關(guān)鍵詞等屬性自由組合，無需標(biāo)注任何樣本，便可生成新的類型的文本。在可信學(xué)習(xí)方面，鵬城-百度·文心通過自監(jiān)督的對(duì)抗訓(xùn)練，讓模型學(xué)習(xí)區(qū)分?jǐn)?shù)據(jù)是真實(shí)的還是模型偽造的，使得模型對(duì)生成結(jié)果真實(shí)性具備判斷能力，從而讓模型可以從多個(gè)候選中選擇最可靠的生成結(jié)果，顯著提升了生成結(jié)果的可信度。
鵬城-百度·文心首創(chuàng)了大模型在線蒸餾技術(shù)，顯著降低了大模型應(yīng)用成本。其在訓(xùn)練過程中周期性地將知識(shí)信號(hào)傳遞給若干個(gè)學(xué)生模型同時(shí)訓(xùn)練，保證了學(xué)生模型的效果和尺寸豐富性，方便不同性能需求的應(yīng)用場(chǎng)景使用。其參數(shù)壓縮率可達(dá)99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)。
ERNIE 3.0刷新情感分析、觀點(diǎn)抽取、閱讀理解、文本摘要、對(duì)話生成、數(shù)學(xué)運(yùn)算等54個(gè)中文NLP任務(wù)基準(zhǔn)，其英文模型在國際權(quán)威的復(fù)雜語言理解任務(wù)評(píng)測(cè)SuperGLUE上, 以超越人類水平0.8個(gè)百分點(diǎn)的成績(jī)登頂全球榜首。在知識(shí)推理任務(wù)上，鵬城-百度·文心相對(duì)OpenAI GPT-3 準(zhǔn)確率絕對(duì)提升8%。
2022年6月，ERNIE 賦能虛擬人
2022年6月，百度文心大模型讓虛擬人度曉曉變身為高考作文寫手和 AI 畫家，她在全國高考作文寫作得高分；其作畫參加西安美術(shù)學(xué)院畢業(yè)展；還聯(lián)合龔俊數(shù)字人推出國內(nèi)首個(gè)虛擬偶像 AIGC 創(chuàng)作歌曲。 這要?dú)w功于融合任務(wù)相關(guān)知識(shí)的千億大模型 ERNIE 3.0 Zeus 和跨模態(tài)圖文生成模型 ERNIE-ViLG。
6 月 7 日高考語文考試之后，度曉曉化身數(shù)字人考生挑戰(zhàn)全國新高考 Ⅰ 卷作文題《本手、妙手、俗手》，40 秒的時(shí)間內(nèi)完成了 40 篇高考作文，平均 1 秒生成 1 篇，寫作速度遠(yuǎn)超了人類。那么度曉曉生成的作文能滿足高考寫作的審題、邏輯和創(chuàng)意等要求嗎？
這一擔(dān)心也被證明是多余的，曾任北京高考語文閱卷組組長的申怡為她隨機(jī)生成的一篇作文打出了 48 分的成績(jī)（滿分 60 分），從歷年統(tǒng)計(jì)數(shù)據(jù)來看，這個(gè)分?jǐn)?shù)超過了 75% 的人類考生。稱呼她一聲寫作高手絕不為過。
6 月初，度曉曉創(chuàng)作的「無界」系列數(shù)字藏品上線百度 APP 開啟限時(shí)搶購，該系列共有 4 幅畫作。作為國內(nèi)首個(gè)數(shù)字人創(chuàng)作的藝術(shù)數(shù)字藏品，這些畫作在 24 小時(shí)內(nèi)就賣出了 17 萬元。更令人想不到的是，每幅畫作的創(chuàng)作時(shí)間僅需幾十秒，這種畫畫速度大概會(huì)令通常仔細(xì)斟酌、耗時(shí)很長的專業(yè)畫家羨慕吧。
隨后，度曉曉帶著她的畫作現(xiàn)身西安美術(shù)學(xué)院 2022 年「時(shí)空留痕無界西美」本科畢業(yè)展，在自己的專屬展區(qū)展出了此前制成數(shù)字藏品的四幅作品以及兩幅有關(guān)西安大雁塔的本地特色作品。這些畫作的水平又如何呢？西安美院教授評(píng)價(jià)稱「已經(jīng)達(dá)到了本科美術(shù)生的基本要求」。
2020年7月，發(fā)布ERNIE-ViL
2020年7月，百度提出了知識(shí)增強(qiáng)視覺-語言預(yù)訓(xùn)練模型 ERNIE-ViL，首次將場(chǎng)景圖（Scene Graph）知識(shí)融入多模態(tài)預(yù)訓(xùn)練。
ERNIE-ViL在 5 項(xiàng)多模態(tài)任務(wù)上刷新世界最好效果，并在多模態(tài)領(lǐng)域權(quán)威榜單 VCR 上超越微軟、谷歌、Facebook 等機(jī)構(gòu)，登頂榜首。
2022年8月，發(fā)布“文心一格”
2022年8月19日 ，百度推出人工智能作畫輔助工具“文心一格”。用戶僅需輸入文字創(chuàng)想，即可完成別具一格的畫作，受到用戶廣泛好評(píng)。值得一提的是，文心一格深諳中國文化精髓，所創(chuàng)畫作盡現(xiàn)中國風(fēng)骨。本次峰會(huì)上，吳甜發(fā)布了文心一格的三大全新功能：支持以圖生圖、支持可控的增刪改等圖片二次編輯和一鍵生成視頻，進(jìn)一步激發(fā)創(chuàng)造力，降低內(nèi)容生產(chǎn)成本。
2022年11月，發(fā)布“文心百中”
2022年11月30日，產(chǎn)業(yè)級(jí)搜索系統(tǒng)“文心百中”發(fā)布，該產(chǎn)品由百度搜索與文心大模型聯(lián)合研制，命名寓意搜索結(jié)果精準(zhǔn)，百發(fā)百中。
產(chǎn)業(yè)級(jí)搜索系統(tǒng)文心百中
文心百中具有三大特性：極簡(jiǎn)、強(qiáng)大、高效。文心百中采用純神經(jīng)搜索架構(gòu)加數(shù)據(jù)驅(qū)動(dòng)搜索效果優(yōu)化策略設(shè)計(jì)而成，應(yīng)用起來極其簡(jiǎn)便，僅需三步即可在線完成搜索引擎的構(gòu)建；文心百中擁有強(qiáng)大的語義理解能力，相比傳統(tǒng)模型實(shí)現(xiàn)了質(zhì)的提升，已在多個(gè)場(chǎng)景展現(xiàn)驚艷的搜索效果；文心百中具備搜索系統(tǒng)從0到1的高效建設(shè)能力，相比傳統(tǒng)搜索系統(tǒng)可減少人力成本90%以上；同時(shí)，基于小樣本學(xué)習(xí)能力極強(qiáng)的文心大模型，文心百中僅需少量的數(shù)據(jù)，即可實(shí)現(xiàn)不同行業(yè)的搜索效果優(yōu)化，十分高效。
百度的行業(yè)大模型
為了更好幫助企業(yè)與開發(fā)者，實(shí)現(xiàn)從開發(fā)大模型到應(yīng)用大模型的全流程實(shí)踐，百度勾勒出了飛槳+文心，即深度學(xué)習(xí)平臺(tái)+大模型的產(chǎn)業(yè)路徑。二者結(jié)合，開發(fā)者可以獲得從算力、框架、模型庫，再到大模型調(diào)用、大模型行業(yè)化的所有能力，獲得了完善、穩(wěn)固的產(chǎn)業(yè)智能化基座。
大模型因“大”而效果好，同時(shí)在產(chǎn)業(yè)應(yīng)用中也會(huì)因?yàn)椤疤蟆倍y以落地部署。為了解決這個(gè)問題，百度全新發(fā)布了ERNIE 3.0 Tiny模型。其通過將千億模型作為教師模型，經(jīng)過知識(shí)蒸餾等方式，可以形成一系列輕量化模型。最終實(shí)現(xiàn)在效果損失非常有限的情況下，模型體量變小，但較比傳統(tǒng)模型卻有數(shù)十倍、上百倍的性能提升，以此滿足產(chǎn)業(yè)場(chǎng)景的真實(shí)應(yīng)用需求。
百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰提出，討論大模型的新升級(jí)、新發(fā)展思路，必須建立在對(duì)大模型產(chǎn)業(yè)化的客觀理解上。在目前階段，大模型正處在高速發(fā)展期。幾乎每個(gè)月，甚至每星期都可以看到產(chǎn)業(yè)界、學(xué)術(shù)界公布大模型創(chuàng)新。并且在今天，已經(jīng)很少看到大模型創(chuàng)新過分執(zhí)著參數(shù)對(duì)比，更多是進(jìn)行不同技術(shù)路線、不同應(yīng)用領(lǐng)域的多樣化創(chuàng)新。
大模型的復(fù)雜技術(shù)與研發(fā)挑戰(zhàn)，應(yīng)該是停留在產(chǎn)業(yè)上游的。具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)，應(yīng)該將模型生產(chǎn)進(jìn)行封裝，在產(chǎn)業(yè)鏈上游就解決大數(shù)據(jù)、大算力、大模型的能力挑戰(zhàn)。這樣，應(yīng)用場(chǎng)景與企業(yè)用戶、開發(fā)者，將得到簡(jiǎn)單、易用、工業(yè)化的大模型能力。只有這樣，大模型才能真正落下去、推廣開。
百度正在用飛槳+文心大模型，在技術(shù)與產(chǎn)業(yè)之間架起橋梁，簡(jiǎn)化AI模型的應(yīng)用。
百度聯(lián)合深圳燃?xì)狻⒓?、泰康保險(xiǎn)、TCL、上海辭書出版社重磅新發(fā)5個(gè)行業(yè)大模型：深燃-百度·文心、吉利-百度·文心、泰康-百度·文心、TCL-百度·文心和辭海-百度·文心。
2022年5月，文心大模型面向具體的行業(yè)需求，發(fā)布了行業(yè)大模型這一全新發(fā)展路徑。其通過文心大模型的基礎(chǔ)模型能力，搭配對(duì)海量行業(yè)數(shù)據(jù)的挖掘，以及由合作機(jī)構(gòu)、行業(yè)客戶提供的行業(yè)特色數(shù)據(jù)和知識(shí)，加上行業(yè)特色的專家經(jīng)驗(yàn)多方結(jié)合，進(jìn)行相應(yīng)的行業(yè)訓(xùn)練任務(wù)設(shè)計(jì)，最終形成了文心行業(yè)大模型。
在于行業(yè)結(jié)合的過程中，文心大模型知識(shí)增強(qiáng)與產(chǎn)業(yè)級(jí)兩大特色得以充分發(fā)揮，形成了行業(yè)知識(shí)增強(qiáng)的關(guān)鍵路徑。這一路徑不僅解決了大模型的應(yīng)用挑戰(zhàn)，還凝結(jié)成了一系列面向重點(diǎn)行業(yè)的大模型產(chǎn)業(yè)落地方法。實(shí)現(xiàn)了大模型在行業(yè)場(chǎng)景中“不但能用還便捷好用”的價(jià)值。文心行業(yè)大模型目前有了11個(gè)行業(yè)大模型，將行業(yè)大模型延伸到了制造業(yè)、城市管理、汽車等關(guān)鍵領(lǐng)域?？梢哉f，行業(yè)大模型已經(jīng)從先鋒、探索性質(zhì)，發(fā)展到了覆蓋行業(yè)眾多、體系完備的新階段。從應(yīng)用效果與行業(yè)覆蓋上來說，都已經(jīng)實(shí)現(xiàn)了蔚為大觀。
如今，行業(yè)大模型已經(jīng)在多個(gè)領(lǐng)域取得可信的成果。比如文心大模型與電影頻道結(jié)合，可以實(shí)現(xiàn)每天修復(fù)28.5萬幀老舊影片。即使是精修，文心大模型的修復(fù)速度也較人工效率提升了3到4倍。在能源、金融等一系列領(lǐng)域，行業(yè)大模型已經(jīng)形成了產(chǎn)業(yè)智能化的發(fā)展路標(biāo)。
舉個(gè)例子，智慧城市建設(shè)是數(shù)字中國的重點(diǎn)發(fā)展方向。哈爾濱市政府?dāng)y手百度，聯(lián)合發(fā)布面向城市領(lǐng)域的行業(yè)大模型——冰城-百度·文心，該系統(tǒng)可以將城市中跨業(yè)務(wù)、跨結(jié)構(gòu)、跨部門的數(shù)據(jù)知識(shí)和多種任務(wù)算法進(jìn)行融合，基于百度文心NLP大模型ERNIE 3.0，打造統(tǒng)一預(yù)訓(xùn)練模型，提供強(qiáng)大的語言理解、語義分析等能力，支撐城市中各領(lǐng)域的AI規(guī)?；Ч嵘?。文心行業(yè)大模型，至此可以從城市治理、產(chǎn)業(yè)發(fā)展、公共服務(wù)等多個(gè)領(lǐng)域支持哈爾濱的數(shù)字化發(fā)展。從產(chǎn)業(yè)路徑上看，這一聯(lián)合發(fā)布、聯(lián)合打造，將大模型與智慧城市需求有效結(jié)合在了一起。
在一系列新加入的模型之外，百度也在推動(dòng)大模型開發(fā)工具建設(shè)、產(chǎn)品化升級(jí)與社區(qū)建設(shè)。在工具與平臺(tái)的技術(shù)升級(jí)上，百度提供面向場(chǎng)景化，以及行業(yè)大模型的配套能力。比如在模型精調(diào)方面提供的技術(shù)工具更加豐富，大模型的API當(dāng)中將包含更豐富的精調(diào)能力。同時(shí)，在大模型訓(xùn)練中也會(huì)添加一系列可信學(xué)習(xí)工具，滿足開發(fā)者對(duì)大模型的安全、可控需求。
在文心大模型的產(chǎn)品和社區(qū)方面，百度保留了旸谷社區(qū)作為創(chuàng)意社區(qū)。同時(shí)增加了兩款以大模型為核心驅(qū)動(dòng)的產(chǎn)品。這些產(chǎn)品既可以直接賦能給有相關(guān)需求的產(chǎn)業(yè)用戶和泛科技用戶，豐富大模型的應(yīng)用價(jià)值。同時(shí)也為行業(yè)起到了示范作用，展示了大模型產(chǎn)品化的技術(shù)路徑。
總結(jié)
從這次資本市場(chǎng)的反饋看，對(duì)許多大廠都是利好。研發(fā)多年的AI技術(shù)有了爆發(fā)的機(jī)會(huì)。
百度看起來是其中最大的受益者，不過，當(dāng)搜索引擎能更準(zhǔn)確地給出答案了，用戶看的更少，對(duì)搜索付費(fèi)廣告的曝光和點(diǎn)擊可能都會(huì)減少。
未來，百度的新版搜索引擎出現(xiàn)后，搜索的收入是否降低，是很多人關(guān)心的事情。
從之前知乎暴漲40%來看，能持續(xù)積累關(guān)鍵知識(shí)的網(wǎng)站是未來各家模型爭(zhēng)奪的焦點(diǎn)，也許，知乎是可以躺贏的。