《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動(dòng)態(tài) > 中科大與華為合作發(fā)布生成式推薦大模型

中科大與華為合作發(fā)布生成式推薦大模型

昇騰 NPU 可部署,背后認(rèn)知一同公開
2025-04-07
來源:IT之家
關(guān)鍵詞: 中科大 華為 昇騰 NPU 大模型

推薦大模型也可生成式,并且首次在國(guó)產(chǎn)昇騰 NPU 上成功部署!

在信息爆炸時(shí)代,推薦系統(tǒng)已成為生活中不可或缺的一部分。Meta 率先提出了生成式推薦范式 HSTU,將推薦參數(shù)擴(kuò)展至萬億級(jí)別,取得顯著成果。

近期,中科大華為合作開發(fā)了推薦大模型部署方案,可應(yīng)用于多個(gè)場(chǎng)景。探索過程中還有哪些經(jīng)驗(yàn)與發(fā)現(xiàn)?最新公開分享來了。

報(bào)告亮點(diǎn)包括:

總結(jié)推薦范式發(fā)展歷程,指出具備擴(kuò)展定律的生成式推薦范式是未來趨勢(shì);

復(fù)現(xiàn)并研究不同架構(gòu)的生成式推薦模型及其擴(kuò)展定律;通過消融實(shí)驗(yàn)和參數(shù)分析,解析 HSTU 的擴(kuò)展定律來源,并賦予 SASRec 以可擴(kuò)展性;

驗(yàn)證 HSTU 在復(fù)雜場(chǎng)景和排序任務(wù)中的表現(xiàn)及擴(kuò)展性;

團(tuán)隊(duì)展望并總結(jié)未來研究方向。

具備擴(kuò)展定律的生成式推薦范式正在成為未來趨勢(shì)

000.png

如圖 1 所示,推薦系統(tǒng)的發(fā)展趨勢(shì)是逐漸減少對(duì)手工設(shè)計(jì)特征工程和模型結(jié)構(gòu)的依賴。在深度學(xué)習(xí)興起之前,受限于計(jì)算資源,人們傾向于使用手工設(shè)計(jì)的特征和簡(jiǎn)單模型(圖 1A)。

隨著深度學(xué)習(xí)的發(fā)展,研究者專注于復(fù)雜模型的設(shè)計(jì),以更好地?cái)M合用戶偏好,并提升對(duì) GPU 并行計(jì)算的利用率(圖 1B)。

然而,隨著深度學(xué)習(xí)能力的瓶頸,特征工程再次受到關(guān)注(圖 1C)。

如今,大語言模型擴(kuò)展定律的成功啟發(fā)了推薦領(lǐng)域的研究者。擴(kuò)展定律描述了模型性能與關(guān)鍵指標(biāo)(如參數(shù)規(guī)模、數(shù)據(jù)集規(guī)模和訓(xùn)練資源)之間的冪律關(guān)系。通過增加模型深度和寬度,并結(jié)合大量數(shù)據(jù),可以提升推薦效果(圖 1D),這種方法被稱為推薦大模型。

近期,HSTU 等生成式推薦框架在此方向取得了顯著成果,驗(yàn)證了推薦領(lǐng)域的擴(kuò)展定律,引發(fā)了生成式推薦大模型研究的熱潮。團(tuán)隊(duì)認(rèn)為,生成式推薦大模型正在成為顛覆當(dāng)前推薦系統(tǒng)的下一個(gè)新范式。

在此背景下,探索哪些模型真正具備可擴(kuò)展性,理解其成功應(yīng)用擴(kuò)展定律的原因,以及如何利用這些規(guī)律提升推薦效果,已成為當(dāng)前推薦系統(tǒng)領(lǐng)域的熱門課題。

基于不同架構(gòu)的生成式推薦大模型擴(kuò)展性分析

為了評(píng)估生成式推薦大模型在不同架構(gòu)下的擴(kuò)展性,團(tuán)隊(duì)對(duì)比了 HSTU、Llama、GPT 和 SASRec 四種基于 Transformer 的架構(gòu)。

在三個(gè)公開數(shù)據(jù)集上,通過不同注意力模塊數(shù)量下的性能表現(xiàn)進(jìn)行分析(見表 1)。結(jié)果顯示,當(dāng)模型參數(shù)較小時(shí),各架構(gòu)表現(xiàn)相似,且最優(yōu)架構(gòu)因數(shù)據(jù)集而異。

然而,隨著參數(shù)擴(kuò)展,HSTU 和 Llama 的性能顯著提升,而 GPT 和 SASRec 的擴(kuò)展性不足。盡管 GPT 在其他領(lǐng)域表現(xiàn)良好,但在推薦任務(wù)上未達(dá)預(yù)期。團(tuán)隊(duì)認(rèn)為,這是因?yàn)?GPT 和 SASRec 的架構(gòu)缺乏專為推薦任務(wù)設(shè)計(jì)的關(guān)鍵組件,無法有效利用擴(kuò)展定律。

000.png

生成式推薦模型的可擴(kuò)展性來源分析

為了探究 HSTU 等生成式推薦模型的可擴(kuò)展性來源,團(tuán)隊(duì)進(jìn)行了消融實(shí)驗(yàn),分別去除了 HSTU 中的關(guān)鍵組件:相對(duì)注意力偏移(RAB)、SiLU 激活函數(shù),以及特征交叉機(jī)制。

實(shí)驗(yàn)結(jié)果(見表 2)顯示,單一模塊的缺失并未顯著影響模型的擴(kuò)展性,但 RAB 的移除導(dǎo)致性能明顯下降,表明其關(guān)鍵作用。

000.png

為了進(jìn)一步分析賦予模型擴(kuò)展定律的因素,團(tuán)隊(duì)比較了 SASRec 與擴(kuò)展性良好的 HSTU 和 Llama 的區(qū)別,發(fā)現(xiàn)主要差異在于 RAB 和注意力模塊內(nèi)的殘差連接方式。

為驗(yàn)證這些差異是否為擴(kuò)展性的關(guān)鍵,團(tuán)隊(duì)為 SASRec 引入了 HSTU 的 RAB,并調(diào)整其注意力模塊的實(shí)現(xiàn)方式。

實(shí)驗(yàn)結(jié)果(見表 3)顯示,單獨(dú)添加 RAB 或修改殘差連接并未顯著改善 SASRec 的擴(kuò)展性。然而,當(dāng)同時(shí)修改兩個(gè)組件后,SASRec 展現(xiàn)出良好的擴(kuò)展性。這表明,殘差連接模式與 RAB 的結(jié)合,為傳統(tǒng)推薦模型賦予了擴(kuò)展性,為未來推薦系統(tǒng)的擴(kuò)展性探索提供了重要啟示。

000.png

生成式推薦模型在復(fù)雜場(chǎng)景和排序任務(wù)中的表現(xiàn)

復(fù)雜場(chǎng)景中的表現(xiàn)

HSTU 在多域、多行為和輔助信息等復(fù)雜場(chǎng)景中表現(xiàn)出色。以多域?yàn)槔?,HSTU 在 AMZ-MD 的四個(gè)域中始終優(yōu)于基線模型 SASRec 和 C2DSR(見表 4)。

與單域獨(dú)立訓(xùn)練的 HSTU-single 相比,多域聯(lián)合訓(xùn)練的 HSTU 表現(xiàn)更佳,證明了多域聯(lián)合建模的優(yōu)勢(shì)。表 5 顯示,HSTU 在多域行為數(shù)據(jù)上的擴(kuò)展性顯著,尤其在規(guī)模較小的場(chǎng)景如 Digital Music 和 Video Games 上。這表明 HSTU 在解決冷啟動(dòng)問題上具有潛力。

000.png

未來方向和總結(jié)

在技術(shù)報(bào)告中,團(tuán)隊(duì)指出了數(shù)據(jù)工程、Tokenizer、訓(xùn)練推理效率等推薦大模型未來研究的潛力方向,這些方向?qū)椭鉀Q當(dāng)前的挑戰(zhàn)并拓寬應(yīng)用場(chǎng)景。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。