來自慕尼黑工業(yè)大學(xué)的研究人員提出了一種用于實(shí)現(xiàn)視頻超分辨率的新型 GAN——TecoGAN。利用該技術(shù)能夠生成精細(xì)的細(xì)節(jié)，甚至蜘蛛背上的斑點(diǎn)都清晰可見，同時還能保持視頻的連貫性。

圖像超分辨率技術(shù)指的是根據(jù)低分辨率圖像生成高分辨率圖像的過程，該技術(shù)希望根據(jù)已有的圖像信息重構(gòu)出缺失的圖像細(xì)節(jié)。視頻超分辨率技術(shù)則更加復(fù)雜，不僅需要生成細(xì)節(jié)豐富的一幀幀圖像，還要保持圖像之間的連貫性。

在一篇名為「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的論文中，來自慕尼黑工業(yè)大學(xué)的研究人員提出了一種用于實(shí)現(xiàn)視頻超分辨率的新型 GAN——TecoGAN。

此前，已經(jīng)有開發(fā)者利用 ESRGAN 這種視頻超分辨率模型重制了很多單機(jī)游戲，包括經(jīng)典的重返德軍總部、馬克思·佩恩和上古卷軸 III：晨風(fēng)等等。重制的高清版游戲在畫質(zhì)上有很好的效果，而且還保留了原始紋理的美感與風(fēng)格。

以下三幅動圖的右半部分是用 TecoGAN 生成的，說不定用它來重制單機(jī)游戲會有更驚人的效果。該方法能夠生成精細(xì)的細(xì)節(jié)，較長的生成視頻序列也不會影響其時間連貫度。

圖中，動物皮的網(wǎng)格結(jié)構(gòu)、蜥蜴的圖案和蜘蛛背部的斑點(diǎn)無不彰顯該方法的效果。該方法中的時空判別器在引導(dǎo)生成器網(wǎng)絡(luò)輸出連貫細(xì)節(jié)方面居功至偉。

這個視頻超分辨率 GAN 牛在哪里？

自然圖像超分辨率是圖像和視頻處理領(lǐng)域的一大經(jīng)典難題。對于單一圖像超分辨率（SISR），基于深度學(xué)習(xí)的方法可以達(dá)到當(dāng)前最佳的峰值信噪比（PSNR），而基于 GAN 的架構(gòu)在感知質(zhì)量方面實(shí)現(xiàn)了重大改進(jìn)。

在視頻超分辨率（VSR）任務(wù)中，現(xiàn)有的方法主要使用標(biāo)準(zhǔn)損失函數(shù)，如均方差損失，而不是對抗損失函數(shù)。類似地，對結(jié)果的評估仍然聚焦于基于向量范數(shù)的指標(biāo)，如 PSNR 和結(jié)構(gòu)相似性（Structural Similarity，SSIM）指標(biāo)。與 SISR 相比，VSR 的主要難點(diǎn)在于如何獲取清晰的結(jié)果，且不會出現(xiàn)不自然的偽影?；诰讲顡p失，近期的 VSR 任務(wù)使用來自低分辨率輸入的多個幀 [13]，或重用之前生成的結(jié)果 [28] 來改進(jìn)時間連貫度。

盡管對抗訓(xùn)練可以改善單個圖像的視覺質(zhì)量，但它并不常用于視頻。在視頻序列案例中，我們不僅要研究任意的自然細(xì)節(jié)，還要研究可以穩(wěn)定形式基于較長圖像序列生成的細(xì)節(jié)。

該研究首次提出了一種對抗和循環(huán)訓(xùn)練方法，以監(jiān)督空間高頻細(xì)節(jié)和時間關(guān)系。在沒有真值動態(tài)的情況下，時空對抗損失和循環(huán)結(jié)構(gòu)可使該模型生成照片級真實(shí)度的細(xì)節(jié)，同時使幀與幀之間的生成結(jié)構(gòu)保持連貫。研究者還發(fā)現(xiàn)了一種使用對抗損失的循環(huán)架構(gòu)可能會出現(xiàn)的新型模型崩潰，并提出了一種雙向損失函數(shù)用于移除對應(yīng)的偽影。

該研究的核心貢獻(xiàn)包括：

• 提出首個時空判別器，以獲得逼真和連貫的視頻超分辨率；
• 提出新型 Ping-Pong 損失，以解決循環(huán)偽影；
• 從空間細(xì)節(jié)和時間連貫度方面進(jìn)行詳細(xì)的評估；
• 提出新型評估指標(biāo)，基于動態(tài)估計(jì)和感知距離來量化時間連貫度。

論文：Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

論文鏈接：https:///pdf/1811.09393.pdf

摘要：對抗訓(xùn)練在單圖像超分辨率任務(wù)中非常成功，因?yàn)樗梢垣@得逼真、高度細(xì)致的輸出結(jié)果。因此，當(dāng)前最優(yōu)的視頻超分辨率方法仍然支持較簡單的范數(shù)（如 L2）作為對抗損失函數(shù)。直接向量范數(shù)作損失函數(shù)求平均的本質(zhì)可以輕松帶來時間流暢度和連貫度，但生成圖像缺乏空間細(xì)節(jié)。該研究提出了一種用于視頻超分辨率的對抗訓(xùn)練方法，可以使分辨率具備時間連貫度，同時不會損失空間細(xì)節(jié)。

該研究聚焦于新型損失的形成，并基于已構(gòu)建的生成器框架展示了其性能。研究者證明時間對抗學(xué)習(xí)是獲得照片級真實(shí)度和時間連貫細(xì)節(jié)的關(guān)鍵。除了時空判別器以外，研究者還提出新型損失函數(shù) Ping-Pong，該函數(shù)可以有效移除循環(huán)網(wǎng)絡(luò)中的時間偽影，且不會降低視覺質(zhì)量。之前的研究并未解決量化視頻超分辨率任務(wù)中時間連貫度的問題。該研究提出了一組指標(biāo)來評估準(zhǔn)確率和隨時間變化的視覺質(zhì)量。用戶調(diào)研結(jié)果與這些指標(biāo)判斷的結(jié)果一致。總之，該方法優(yōu)于之前的研究，它能夠得到更加細(xì)節(jié)化的圖像，同時時間變化更加自然。

模型方法

該研究提出的 VSR 架構(gòu)包含三個組件：循環(huán)生成器、流估計(jì)網(wǎng)絡(luò)和時空判別器。生成器 G 基于低分辨率輸入循環(huán)地生成高分辨率視頻幀。流估計(jì)網(wǎng)絡(luò) F 學(xué)習(xí)幀與幀之間的動態(tài)補(bǔ)償，以幫助生成器和時空判別器 D_s,t。

訓(xùn)練過程中，生成器和流估計(jì)器一起訓(xùn)練，以欺騙時空判別器 D_s,t。該判別器是核心組件，因?yàn)樗瓤紤]空間因素又考慮時間因素，并對存在不現(xiàn)實(shí)的時間不連貫性的結(jié)果進(jìn)行懲罰。這樣，就需要 G 來生成與之前幀連續(xù)的高頻細(xì)節(jié)。訓(xùn)練完成后，D_s,t 的額外復(fù)雜度不會有什么影響，除非需要 G 和 F 的訓(xùn)練模型來推斷新的超分辨率視頻輸出。

圖 2：具備動態(tài)補(bǔ)償（motion compensation）的循環(huán)生成器。

該研究提出的判別器結(jié)構(gòu)如圖 3 所示。它接收了兩組輸入：真值和生成結(jié)果。

圖 3：時空判別器的輸入。

損失函數(shù)

為了移除不想要的細(xì)節(jié)長期漂移，研究者提出一種新型損失函數(shù)「Ping-Pong」(PP) 損失。

圖 4：a）不使用 PP 損失訓(xùn)練出的結(jié)果。b）使用 PP 損失訓(xùn)練出的結(jié)果。后者成功移除了漂移偽影（drifting artifact）。

如圖 4b 所示，PP 損失成功移除了漂移偽影，同時保留了適當(dāng)?shù)母哳l細(xì)節(jié)。此外，這種損失結(jié)構(gòu)可以有效增加訓(xùn)練數(shù)據(jù)集的規(guī)模，是一種有用的數(shù)據(jù)增強(qiáng)方式。

該研究使用具備 ping-pong ordering 的擴(kuò)展序列來訓(xùn)練網(wǎng)絡(luò)，如圖 5 所示。即最終附加了逆轉(zhuǎn)版本，該版本將兩個「leg」的生成輸出保持一致。PP 損失的公式如下所示：

圖 5：使用該研究提出的 Ping-Pong 損失，g_t 和

之間的 L_2 距離得到最小化，以移除漂移偽影、改進(jìn)時間連貫度。

實(shí)驗(yàn)結(jié)果

研究者通過控制變量研究說明了 L_(G,F) 中單個損失項(xiàng)的效果。

圖 6：樹葉場景對比。對抗模型（ENet、DsOnly、DsDt、DsDtPP、

和 TecoGAN）比使用 L_2 損失訓(xùn)練的方法（FRVSR 和 DUF）具備更好的視覺效果。右圖「temporal profiles」中，DsDt、DsDtPP 和 TecoGAN 在時間連續(xù)性上顯著優(yōu)于 ENet 和 DsOnly。本文提出的判別器網(wǎng)絡(luò)的時間信息成功抑制了這些偽影。