ControlNet作者的新作，玩得很開心，剛開源就攬星1.2k。

用于操縱圖像照明效果的IC-Light，lmposing全稱 Consistent Light。

游戲非常簡(jiǎn)單：

隨便上傳一張圖片，系統(tǒng)自動(dòng)將人物等主體分開，選擇燈源位置，填入提示詞，就可以毫無瑕疵地融入新環(huán)境！

趕快來個(gè)王家衛(wèi)式的打光：

不喜歡？

沒關(guān)系，換成窗外的太陽光，也就是分分鐘的事情。

目前，IC-Light提供兩種模型：重點(diǎn)照明模型的文本條件，還有背景條件模型。

這兩種模型都需要以前景圖像作為輸入。

由于Controlnet之前太有趣了，這次IC-Light一出現(xiàn)就備受關(guān)注，有網(wǎng)友迅速制作了ComfyUI插件。

(疑惑，大家這么拼，都不睡覺？)

無論是期望值還是使用后的感覺，網(wǎng)友們都給予了很高的回報(bào)：

Nice！迫不及待地想上手玩嘻嘻嘻。

01 誰能幫助我改變這張圖片的背景？

每一個(gè)時(shí)代，從古代MCN到貼吧再到現(xiàn)在的小紅書，都不乏“誰能幫我換個(gè)背景”這樣的求助貼。

但是熱心網(wǎng)友的支持，一般都是這樣的：

就離譜。

但說實(shí)話，這種需求不僅存在于你我普通人之間，電商制作商品海報(bào)時(shí)，也常常有類似的需求。

有了IC-Light，似乎一切都變得簡(jiǎn)單了。

上傳主體原圖 選擇燈源位置 提示詞，完事兒。

來看效果——

這樣的佛像原圖，加上提示詞“佛像，一絲不茍的臉，科幻RGB發(fā)光，賽博朋克”，再選擇“光從左邊打來”。

可以得到一個(gè)全新的成品：

即使是日常場(chǎng)景也是適用的。

最后的效果肉眼看還是挺自然的：

按照網(wǎng)友分享的評(píng)價(jià)，動(dòng)畫場(chǎng)景也適用…

02 背后技術(shù)

如前所說，IC-現(xiàn)在Light提供了兩種模型，兩種模型都需要以前景圖像作為輸入。

一類是重點(diǎn)照明模型的文本條件。

簡(jiǎn)而言之，用戶可以通過輸入提示來完成生成。

比如輸入“左光源”、“月光”等，模型就會(huì)通過這些提示詞和初始潛變量，生成符合要求和特征的圖像。

另一類是背景條件模型。

這就更簡(jiǎn)單了，不需要復(fù)雜的提示，模型結(jié)合背景信息提示，對(duì)前景物體進(jìn)行不同風(fēng)格的照明變化。

其背后的技術(shù)原理，通過潛在空間的一致性，可以保證模型導(dǎo)出在不同的燈源組合下具有一致性，從而穩(wěn)定地產(chǎn)生各種照明效果。。

詳細(xì)如下——

在HDR空間中，所有照明的光源傳輸都是相互獨(dú)立的，數(shù)學(xué)(即理想狀態(tài))中不同光源的外觀混合效果與多燈源直接作用下的外觀是一致的。

以上圖片的照明階段為例。來自“外觀混合”和“光源混合”的兩個(gè)圖像是一致的(理想情況下，在HDR空間中等同于數(shù)學(xué))。

所以，研究人員在練習(xí)再照明模型時(shí)，在潛在空間中使用多層感知機(jī)。（MLP）使不同光源的組合和傳輸具有一致性，并用于指導(dǎo)生成效果。

最后產(chǎn)生高度一致的再照明效果。

由于模型采用了潛在的擴(kuò)散技術(shù)，因此可以在潛在的空間內(nèi)實(shí)現(xiàn)學(xué)習(xí)和重光操作，從而在各種光照條件下產(chǎn)生高度一致的效果。

這類結(jié)果十分一致——盡管在訓(xùn)練過程中，模型沒有直接使用法線圖數(shù)據(jù)，但是可以將不同的重新照明合并成法線圖。

看看下圖，從左到右依次是輸入、模型導(dǎo)出、再照明、分割陰影圖像和合并法線貼圖。

本文來自微信微信官方賬號(hào)“量子位”（ID：QbitAI），作者：關(guān)注前沿技術(shù)，授權(quán)發(fā)布36氪。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com