3 月 6 日消息，從騰訊混元微信公眾號獲悉，騰訊混元發(fā)布圖生視頻模型并對外開源，同時上線對口型與動作驅(qū)動等玩法，并支持生成背景音效及 2K 高質(zhì)量視頻。

基于圖生視頻的能力，用戶只需上傳一張圖片，并簡短描述希望畫面如何運(yùn)動、鏡頭如何調(diào)度等，混元即可按要求讓圖片動起來，變成 5 秒的短視頻，還能自動配上背景音效。此外，上傳一張人物圖片，并輸入希望 " 對口型 " 的文字或音頻，圖片中的人物即可 " 說話 " 或 " 唱歌 "；使用 " 動作驅(qū)動 " 能力，還能一鍵生成同款跳舞視頻。

目前用戶通過混元 AI 視頻官網(wǎng)（https://video.hunyuan.tencent.com/）即可體驗，企業(yè)和開發(fā)者可在騰訊云申請使用 API 接口使用。

此次開源的圖生視頻模型，是混元文生視頻模型開源工作的延續(xù)，模型總參數(shù)量保持 130 億，模型適用于多種類型的角色和場景，包括寫實視頻制作、動漫角色甚至 CGI 角色制作的生成。

開源內(nèi)容包含權(quán)重、推理代碼和 LoRA 訓(xùn)練代碼，支持開發(fā)者基于混元訓(xùn)練專屬 LoRA 等衍生模型。目前在 Github、HuggingFace 等主流開發(fā)者社區(qū)均可下載體驗。

混元開源技術(shù)報告披露，混元視頻生成模型具備靈活的擴(kuò)展性，圖生視頻和文生視頻在相同的數(shù)據(jù)集上開展預(yù)訓(xùn)練工作。在保持超寫實畫質(zhì)、流暢演繹大幅度動作、原生鏡頭切換等特性的基礎(chǔ)上，讓模型能夠捕捉到豐富的視覺和語義信息，并結(jié)合圖像、文本、音頻和姿態(tài)等多種輸入條件，實現(xiàn)對生成視頻的多維度控制。

目前，混元開源系列模型已經(jīng)完整覆蓋文本、圖像、視頻和 3D 生成等多個模態(tài)，在 Github 累計獲得超 2.3 萬開發(fā)者關(guān)注和 star。