字節(jié)跳動(dòng)近日面向全球推出新一代視頻生成模型Seedance2.0，該模型已全面接入旗下生成式AI創(chuàng)作平臺(tái)即夢(mèng)及豆包App。這款基于統(tǒng)一多模態(tài)音視頻聯(lián)合生成架構(gòu)的技術(shù)產(chǎn)品，通過深度理解用戶輸入的文字、圖片或視頻內(nèi)容，結(jié)合構(gòu)圖、鏡頭語言、動(dòng)作節(jié)奏等元素，實(shí)現(xiàn)了電影級(jí)視頻創(chuàng)作的平民化突破。

技術(shù)團(tuán)隊(duì)介紹，Seedance2.0在訓(xùn)練階段融入海量東方美學(xué)素材，特別強(qiáng)化了復(fù)雜場景交互呈現(xiàn)能力。用戶僅需輸入簡短描述，即可生成時(shí)長數(shù)秒至十幾秒的動(dòng)態(tài)視頻，畫面精度較前代產(chǎn)品提升40%，物理一致性誤差率降低至3%以內(nèi)。該模型支持對(duì)燈光、攝像機(jī)運(yùn)動(dòng)等20余種參數(shù)進(jìn)行毫米級(jí)控制，單條視頻生成時(shí)間縮短至傳統(tǒng)流程的1/15。

在2024年總臺(tái)春晚視覺制作中，Seedance2.0已完成首次商業(yè)化應(yīng)用。技術(shù)團(tuán)隊(duì)為導(dǎo)演組開發(fā)了定制化工作流，將原本需要12人團(tuán)隊(duì)耗時(shí)72小時(shí)完成的特效鏡頭，壓縮至3人8小時(shí)完成。火山引擎總裁透露，該模型在處理傳統(tǒng)文化元素時(shí)展現(xiàn)出獨(dú)特優(yōu)勢，其生成的敦煌飛天動(dòng)態(tài)效果獲得文化部專家高度評(píng)價(jià)。

國際科技界對(duì)該技術(shù)突破反應(yīng)強(qiáng)烈。特斯拉創(chuàng)始人埃隆·馬斯克在社交平臺(tái)轉(zhuǎn)發(fā)演示視頻時(shí)評(píng)論："AI視頻生成正在突破物理模擬臨界點(diǎn)。"好萊塢特效公司Digital Domain實(shí)測后表示，該模型在群眾場景渲染效率上超越現(xiàn)有工業(yè)軟件300%，可能引發(fā)行業(yè)生態(tài)重構(gòu)。目前已有17個(gè)國家的影視工作室提交技術(shù)合作申請(qǐng)。

清華大學(xué)雙聘教授沈陽分析指出，Seedance2.0標(biāo)志著視頻創(chuàng)作進(jìn)入"導(dǎo)演工業(yè)化"時(shí)代。其核心價(jià)值在于將專業(yè)影視制作的知識(shí)圖譜轉(zhuǎn)化為可編輯的參數(shù)模塊，使普通創(chuàng)作者也能調(diào)用價(jià)值數(shù)百萬美元的設(shè)備才能實(shí)現(xiàn)的視覺效果。這項(xiàng)技術(shù)預(yù)計(jì)將使短視頻創(chuàng)作成本下降82%，推動(dòng)UGC內(nèi)容產(chǎn)量呈現(xiàn)指數(shù)級(jí)增長。