AI繪畫(huà)領(lǐng)域迎來(lái)重要突破——小紅書(shū)與復(fù)旦大學(xué)聯(lián)合研發(fā)的InstanceAssemble技術(shù)，成功攻克布局控制生成難題，推動(dòng)AI繪畫(huà)進(jìn)入精準(zhǔn)構(gòu)圖時(shí)代。這項(xiàng)創(chuàng)新成果已被國(guó)際頂級(jí)學(xué)術(shù)會(huì)議NeurIPS 2025收錄，標(biāo)志著中國(guó)科研團(tuán)隊(duì)在生成式AI領(lǐng)域取得關(guān)鍵進(jìn)展。

傳統(tǒng)AI繪畫(huà)主要依賴"文字生成圖像"（Text-to-Image）技術(shù)，用戶通過(guò)文本描述生成對(duì)應(yīng)畫(huà)面。而新一代"布局控制生成"（Layout-to-Image）技術(shù)則更進(jìn)一步，允許用戶通過(guò)邊界框、分割掩碼或骨架圖等空間約束條件，精確控制圖像中每個(gè)元素的位置與內(nèi)容。這種技術(shù)突破為商業(yè)設(shè)計(jì)、游戲開(kāi)發(fā)等領(lǐng)域帶來(lái)革命性變革，但始終面臨布局錯(cuò)位、語(yǔ)義斷層和計(jì)算成本過(guò)高等挑戰(zhàn)。

研究團(tuán)隊(duì)提出的"實(shí)例組裝注意力"機(jī)制，通過(guò)解耦物體位置與語(yǔ)義特征，實(shí)現(xiàn)了像素級(jí)精準(zhǔn)控制。該技術(shù)基于擴(kuò)散變換器架構(gòu)，用戶僅需提供物體邊界框坐標(biāo)和內(nèi)容描述，系統(tǒng)即可在指定位置生成符合語(yǔ)義的圖像元素。實(shí)驗(yàn)數(shù)據(jù)顯示，在包含90萬(wàn)個(gè)實(shí)例的密集布局?jǐn)?shù)據(jù)集上，新技術(shù)在布局對(duì)齊精度和語(yǔ)義一致性方面均顯著優(yōu)于現(xiàn)有方案。

技術(shù)落地性是該研究的另一大亮點(diǎn)。研究團(tuán)隊(duì)采用輕量化適配策略，僅需調(diào)整約7100萬(wàn)個(gè)參數(shù)（相當(dāng)于原模型3.46%的額外計(jì)算量），即可將技術(shù)無(wú)縫集成到Stable Diffusion3-Medium模型。針對(duì)Flux.1模型的適配方案更將參數(shù)需求壓縮至0.84%，大幅降低企業(yè)應(yīng)用門(mén)檻。這種"即插即用"的設(shè)計(jì)理念，為AI繪畫(huà)技術(shù)的商業(yè)化推廣開(kāi)辟了新路徑。

為建立科學(xué)的評(píng)估體系，團(tuán)隊(duì)同步構(gòu)建了包含5000張圖像和9萬(wàn)個(gè)實(shí)例的"Denselayout"基準(zhǔn)測(cè)試集，并設(shè)計(jì)出全新的"Layout Grounding Score"（LGS）評(píng)估指標(biāo)。該指標(biāo)通過(guò)量化布局與生成圖像的匹配程度，為行業(yè)提供了客觀的技術(shù)對(duì)比標(biāo)準(zhǔn)。實(shí)驗(yàn)證明，即使在訓(xùn)練階段僅接觸稀疏布局（≤10個(gè)實(shí)例）的情況下，系統(tǒng)在密集場(chǎng)景（≥10個(gè)實(shí)例）中仍能保持穩(wěn)定性能，展現(xiàn)出強(qiáng)大的泛化能力。

這項(xiàng)突破性成果不僅解決了AI繪畫(huà)領(lǐng)域的核心痛點(diǎn)，更為多模態(tài)大模型的發(fā)展提供了新思路。隨著技術(shù)持續(xù)優(yōu)化，未來(lái)在虛擬場(chǎng)景構(gòu)建、個(gè)性化內(nèi)容生成等領(lǐng)域?qū)⒄宫F(xiàn)更廣闊的應(yīng)用前景。研究團(tuán)隊(duì)表示，將持續(xù)完善技術(shù)細(xì)節(jié)，推動(dòng)AI繪畫(huà)從"可用"向"好用"邁進(jìn)。