?
“大神，可以幫我把羊蜜街拍P成我的臉么？哦對，不光是這樣，還要像羊蜜喲…”

從一張照片里取出某個元素，再把它神不知鬼不覺地混入另一張圖片里，似乎是一件很有難度的事情。畢竟，分分鐘就會產(chǎn)生魔性的拼貼效果，不管是手動操作，還是AI的計(jì)算。

而如果“另一張圖片”是指人類的畫作，就更加不容易了。

不過，康奈爾大學(xué)和啊逗比的大神們生產(chǎn)了一種算法，能把各種物體融合進(jìn)畫作里，且毫無PS痕跡。

大量藝術(shù)家的心血，甚至藝術(shù)家自己，都慘遭它的毒手：

△ 要啥自行車

?△ 蒙娜憨莎·豆

△ 畢加炳?

?△ 給你買了個biao

△ 樊 · 蔡康永 · 高

是什么算法，如此喪心病狂？

記住這個名字：Deep Painterly Harmonization。

在康奈爾和啊逗比的P圖大神們看來，現(xiàn)存的全局風(fēng)格化算法都太弱了。

它們確實(shí)能搞定整張照片的風(fēng)格遷移。把畫作和被畫傳染的圖片擺在一起，可能不會看出太大的問題。

△ 介紹一下，這是我的新裝備

但要像上圖這樣，把美隊(duì)的盾牌融合到意大利畫家Onofrio Bramante的作品里，微小的差異看上去就會很明顯。全局風(fēng)格遷移的表現(xiàn)也比較謙虛 (如左三) 。

無論是去除邊界線、匹配色彩還是細(xì)化質(zhì)地，都很難讓粘貼部分擁有畫作的原始風(fēng)格。

我們不一樣

于是，這群大神覺得，他們需要搭建局部風(fēng)格化的神經(jīng)網(wǎng)絡(luò)。

大的方略就是，把畫作相關(guān)部分 (神經(jīng)元響應(yīng)) 的特征統(tǒng)計(jì)，遷移到外來物體的對應(yīng)位置上——關(guān)鍵在于選擇，哪些東西才是應(yīng)該遷移的。

△ Gatys有只幾何貓

小伙伴們以Gatys團(tuán)隊(duì)發(fā)表的風(fēng)格遷移技術(shù)為基礎(chǔ)，用VGG搭建了一個two-pass算法，還額外引入了一些風(fēng)格重建損失 (Reconstruction Losses) 來優(yōu)化結(jié)果。

來來來，算法詳情要一步一步看。

第一步 (First Pass)：粗略圖像協(xié)調(diào) (單一尺度)

大致調(diào)整外來元素的色彩和質(zhì)地，和畫中語義相似的部分對應(yīng)。要在神經(jīng)網(wǎng)絡(luò)的每一層，分別找到相鄰最近的神經(jīng)補(bǔ)丁，和粘貼部分的神經(jīng)元響應(yīng)匹配起來。

△ 卷福麗莎，迷人的眼神

退一步，海闊憑魚躍。先不需要太糾纏圖像的質(zhì)量，因?yàn)橐欢ǔ潭壬蠣奚焚|(zhì)，團(tuán)隊(duì)就可以設(shè)計(jì)出一個強(qiáng)大的算法，適應(yīng)多種多樣的畫風(fēng)。

用Gram矩陣來計(jì)算風(fēng)格重建損失，便可以將粗略協(xié)調(diào)的版本優(yōu)化一下。

△ 不計(jì)風(fēng)格損失的后果

這里得到的是一個中間產(chǎn)物，不過風(fēng)格已經(jīng)和原畫作很相似了。

第二步 (Second Pass)：高品質(zhì)細(xì)化 (多尺度)

有了第一步的基礎(chǔ)，此時開始對圖像質(zhì)量提出嚴(yán)格要求，便是順理成章。

這一步，先要在一個負(fù)責(zé)捕捉質(zhì)地屬性的中間層集中火力，生成一個對應(yīng)關(guān)系圖 (correspondence map) ，來剔除空間異常值 (spatial outliers)。

△ 你沉在，我昏黃的畫布里

然后，對擁有空間一致性的對應(yīng)圖進(jìn)行上采樣 (upsample) ，進(jìn)入神經(jīng)網(wǎng)絡(luò)更加精細(xì)的層次里。這樣可以保證，對每一個輸出位置來說，所有尺度上的神經(jīng)元響應(yīng)，都來自畫中的同一位置。

如此一來，畫面便能擁有更加連貫的質(zhì)感，看上去自然許多。

后處理

經(jīng)過Two-Pass算法的洗禮，中大尺度上看，圖像質(zhì)量幾乎無懈可擊；但在精細(xì)尺度上，可能還有不夠準(zhǔn)確的情況存在。也就是說，可遠(yuǎn)觀而不可__焉 (填空題：10分)。

于是，后處理也要兩步走：

色度降噪

高頻失真的現(xiàn)象，主要作用在色度通道，對亮度并沒有太大影響。

發(fā)現(xiàn)了這一特點(diǎn)，團(tuán)隊(duì)將圖像轉(zhuǎn)換成CIELAB色彩空間；再在Guided Filter里，以亮度通道作為向?qū)?，來過濾ab色度通道。

△ 工作還是生活，這是一個問題

這個方法有效改善了高頻色彩失真的情況，但有可能捅出更大的漏洞。然后…

補(bǔ)丁合成

就有了第二步，來確保輸出的每個補(bǔ)丁都出現(xiàn)在畫面中。用PatchMatch給每一個補(bǔ)丁找到相似的補(bǔ)丁。再為所有畫風(fēng)重疊的補(bǔ)丁取平均值，以此重構(gòu)output，就可以保證畫面里不要生出新的內(nèi)容。

不過，這里的副作用是會柔化細(xì)節(jié)，于是又要請出Guided Filter把圖像分成底層 (Base Layer) 和細(xì)節(jié)層 (Detail Layer) ，來削弱柔化效果。??

△ 畫風(fēng)虐我千百遍，我，選擇狗帶

局部遷移療效顯著

實(shí)驗(yàn)結(jié)果表明，轉(zhuǎn)移一些區(qū)域特征統(tǒng)計(jì)的集合，要比轉(zhuǎn)移很多獨(dú)立位置的特征統(tǒng)計(jì)，效果要好得多。神經(jīng)網(wǎng)絡(luò)反應(yīng)的對應(yīng)關(guān)系圖幫了大忙。

局部風(fēng)格遷移的算法，保障了統(tǒng)計(jì)學(xué)意義上的空間一致性和跨尺度一致性。得到天衣無縫的拼圖質(zhì)量，這兩個“一致性”功績斐然。??

△ 金拱門的八度人生

以后，拼圖少年們大概可以拋棄全局風(fēng)格遷移算法了。放眼局部，你的腦洞可以綻放得慘無人道。

不過，比起難以察覺的入侵，我還是醉心于這種360度全死角的魔性p圖。??

△ 萬能的拷貝，萬能的粘貼

更酸爽的論文傳送門：

http://www.cs./~fujun/files/painting-arxiv18/deeppainting.pdf

這篇論文的作者包括：Fujun Luan（欒福軍）、Sylvain Paris、Eli Shechtman、Kavita Bala等人。他們還把代碼開源了，還能看到更多觸目驚心的例子：

https://github.com/luanfujun/deep-painterly-harmonization

順便提一下，論文一作欒福軍，2015年本科畢業(yè)于清華，目前在康納爾大學(xué)攻讀博士學(xué)位。曾在Facebook、Face++、Adobe等公司實(shí)習(xí)。

??藝術(shù)照小哥哥一直在鉆研視覺的玄妙。

比方說曾經(jīng)被譽(yù)為“下一代PS”的Deep Photo Style Transfer，也是欒福軍的研究成果。Deep Photo能實(shí)現(xiàn)像素級的風(fēng)格遷移。

也是非?？犰拧?/p>

One More Thing