在實(shí)時數(shù)字人技術(shù)持續(xù)演進(jìn)的背景下，Soul App近期完成了一次技術(shù)突破。圍繞“高畫質(zhì)與低成本難以兼得”的行業(yè)難題，Soul張璐團(tuán)隊(duì)在此前開源實(shí)時數(shù)字人模型 SoulX-FlashTalk 的基礎(chǔ)上，推出了輕量化、可復(fù)用的實(shí)時數(shù)字人生成模型 SoulX-FlashHead。
該模型參數(shù)規(guī)模為1.3B，卻能夠在單張RTX 4090顯卡上實(shí)現(xiàn) 96FPS 的推理速度，并在畫面穩(wěn)定性與唇形一致性上達(dá)到工業(yè)級水準(zhǔn)。在消費(fèi)級顯卡環(huán)境中, SoulX-FlashHead實(shí)現(xiàn)了高幀率與穩(wěn)定畫質(zhì)的兼顧，為實(shí)時數(shù)字人應(yīng)用提供了新的技術(shù)路徑。
在模型設(shè)計(jì)層面，SoulX-FlashHead通過訓(xùn)練機(jī)制與時序建模的創(chuàng)新，實(shí)現(xiàn)“以小博大”。引入的雙向蒸餾機(jī)制（Oracle-Guided Distillation）為模型提供了更強(qiáng)的身份約束。在長視頻生成中，人物特征隨時間漂移一直是行業(yè)公認(rèn)難點(diǎn)。該機(jī)制通過“教師模型”以 Ground Truth作為錨點(diǎn)進(jìn)行引導(dǎo)，使生成結(jié)果在長時序下保持一致性，顯著降低身份偏移風(fēng)險(xiǎn)。
針對實(shí)時流式生成中常見的口型抖動問題，SoulX-FlashHead還引入了“時序音頻上下文緩存”（TACC）策略。模型在推理過程中強(qiáng)制保留8秒歷史音頻特征，用于補(bǔ)償短音頻切片帶來的上下文不足。該設(shè)計(jì)使模型在開播初期即可進(jìn)入穩(wěn)定狀態(tài)，減少了口型錯位與節(jié)奏不連貫的情況，提升了整體觀感。
數(shù)據(jù)質(zhì)量同樣是模型表現(xiàn)的重要基礎(chǔ)。Soul構(gòu)建了自研的 VividHead數(shù)據(jù)集，從超過10,000小時素材中篩選出782小時高質(zhì)量音畫數(shù)據(jù)，并通過多輪處理流程進(jìn)行凈化，包括切分、DWpose 關(guān)鍵點(diǎn)提取以及唇形一致性評分過濾等步驟，為模型訓(xùn)練提供了更可靠的數(shù)據(jù)底座。
在實(shí)際性能表現(xiàn)上，SoulX-FlashHead的Lite 版本在單張 RTX 4090上可達(dá)到96FPS的推理幀率，僅占用約6.4G顯存，并支持最高3路并發(fā)，顯著降低了實(shí)時數(shù)字人的部署門檻。Pro版本在單張RTX 5090上可實(shí)現(xiàn)16.8FPS。在HDTF與VFHQ兩個權(quán)威數(shù)據(jù)集的測試中，SoulX-FlashHead的表現(xiàn)進(jìn)一步驗(yàn)證了其技術(shù)路線的有效性。在高清視頻場景下，Pro版本在FID與FVD等指標(biāo)上刷新了現(xiàn)有成績，畫面細(xì)節(jié)與穩(wěn)定性優(yōu)于部分高參數(shù)量模型；在復(fù)雜真實(shí)場景中，其唇形同步指標(biāo)Sync-C達(dá)到5.60，體現(xiàn)了時序音頻建模策略的實(shí)際價值。就效率而言，Lite版本在單卡RTX 4090上實(shí)現(xiàn)的96FPS 吞吐量，不僅明顯高于實(shí)時基準(zhǔn)，也體現(xiàn)出輕量化模型在工程部署中的優(yōu)勢。
對比今年1月開源的 SoulX-FlashTalk，SoulX-FlashHead實(shí)現(xiàn)了場景突破。前者以0.87s亞秒級超低延時、32FPS高幀率與支持超長視頻穩(wěn)定生成，驗(yàn)證了實(shí)時數(shù)字人的可行性。后者則進(jìn)一步將高保真能力下沉到個人工作站，使相關(guān)技術(shù)從集中算力環(huán)境走向更廣泛的使用場景。
目前，SoulX-FlashHead已在多類應(yīng)用設(shè)想中展現(xiàn)出適配性。例如：個人主播可在一臺游戲PC上搭建7×24小時的矩陣直播；游戲場景中，模型體量更易集成，可實(shí)現(xiàn)NPC毫秒級響應(yīng)而不占用核心渲染資源；在一對一教學(xué)場景下，模型支持多語言音頻驅(qū)動，增強(qiáng)了實(shí)時互動的表現(xiàn)力。
在保持畫面穩(wěn)定與交互自然的前提下，Soul張璐團(tuán)隊(duì)通過開源SoulX-FlashHead將高保真數(shù)字人能力引入消費(fèi)級硬件環(huán)境，展示了實(shí)時數(shù)字人在“算力可及性”與“體驗(yàn)質(zhì)量”之間取得平衡的可能性，也為實(shí)時數(shù)字人技術(shù)的實(shí)際落地提供了新的參考樣本。
