字節(jié)跳動近日正式推出全新音視頻生成模型Seedance 1.5 pro，該模型突破性地實現(xiàn)了從文本或圖像直接生成帶有同步音頻的動態(tài)視頻，標志著音視頻聯(lián)合生成技術(shù)邁入新階段。通過深度優(yōu)化音畫同步機制，模型能夠精準匹配口型動作、語音語調(diào)與表演節(jié)奏，在多語言場景下展現(xiàn)出顯著優(yōu)勢。

技術(shù)團隊介紹，Seedance 1.5 pro支持中、英、日等主流語言，并特別強化了方言語音模擬能力，可精準還原四川話、粵語等地域特色發(fā)音。在視頻生成維度，模型創(chuàng)新性地引入自主運鏡調(diào)度系統(tǒng)，能夠自動生成長鏡頭跟隨、希區(qū)柯克式變焦等專業(yè)級拍攝效果，顯著提升畫面敘事張力。某影視制作公司測試顯示，使用該模型生成的廣告片在動態(tài)構(gòu)圖方面達到行業(yè)中等水平。

該模型采用基于MMDiT架構(gòu)的聯(lián)合生成框架，通過多階段數(shù)據(jù)鏈路優(yōu)化與強化學習訓練，實現(xiàn)了音視頻內(nèi)容的協(xié)同創(chuàng)作。在影視創(chuàng)作、廣告制作、互動短劇等場景的實測中，生成內(nèi)容在指令響應(yīng)準確度、音頻保真度等指標上較前代提升37%，但在復雜物理運動模擬、多角色交互等高階功能上仍需持續(xù)優(yōu)化。技術(shù)白皮書顯示，模型目前可處理包含5個以上角色的場景，但對話連貫性存在12%的誤差率。

據(jù)開發(fā)團隊透露，Seedance 1.5 pro已向特定行業(yè)用戶開放內(nèi)測，首批合作方涵蓋影視制作公司、廣告代理商及游戲開發(fā)商。某知名短視頻平臺測試數(shù)據(jù)顯示，使用該模型生成的30秒劇情短視頻，制作周期從傳統(tǒng)方式的72小時縮短至8小時，人力成本降低65%。技術(shù)文檔特別指出，模型在生成歷史題材內(nèi)容時，可通過參數(shù)調(diào)整實現(xiàn)不同朝代的服飾、建筑風格自動適配。