|
選自Adobe 作者：Sharad Mangalick 機(jī)器之心編譯 參與：Nurhachu Null、路 近日，Adobe 宣布推出一項(xiàng)名為 Enhance Details（增強(qiáng)細(xì)節(jié)）的照片編輯應(yīng)用程序新功能，該功能使用機(jī)器學(xué)習(xí)來(lái)增強(qiáng)圖像的分辨率和圖像質(zhì)量。新功能將在 Lightroom CC 中提供，Adobe 稱該功能可以將某些圖像的分辨率提高多達(dá) 30％。 近日，Adobe 宣布推出一項(xiàng)名為 Enhance Details（增強(qiáng)細(xì)節(jié)）的照片編輯應(yīng)用程序新功能，該功能使用機(jī)器學(xué)習(xí)——一個(gè)經(jīng)過(guò)大量訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)——為那些真正需要重視的圖片提供最高的質(zhì)量。增強(qiáng)細(xì)節(jié)功能在 Bayer 格式（佳能、尼康、索尼等）和 X-Trans 格式（富士膠片）的原始馬賽克文件上都能很好地使用。 上圖展示了 Fuji X-Trans 文件中細(xì)節(jié)區(qū)域放大到 200% 時(shí)的區(qū)別。請(qǐng)注意窗戶和街燈中細(xì)節(jié)的清晰度得到了增強(qiáng)。 照相機(jī)是如何看世界的 要想理解「增強(qiáng)細(xì)節(jié)」的原理，我們先來(lái)了解一下普通的數(shù)碼相機(jī)傳感器是如何看世界的。 人眼可以區(qū)分?jǐn)?shù)百萬(wàn)種顏色。我們絕大多數(shù)人都是有三色視覺(jué)的，我們的視網(wǎng)膜上有不同類型的錐形感光細(xì)胞，可以感知紅色、綠色和藍(lán)色。每類視錐細(xì)胞都可以讓眼睛區(qū)分大約 100 種色度，然后人類視覺(jué)系統(tǒng)將信號(hào)混合在一起來(lái)看見(jiàn)這數(shù)百萬(wàn)種不同色度的顏色。 但是，照相機(jī)并不是這么看世界的。 所有的數(shù)字照片都是從單色開始的。然后通過(guò)逆馬賽克變換過(guò)程將照片變成彩色。 數(shù)碼相機(jī)傳感器由兩部分組成。首先是主要的光傳感器陣列。微觀光敏腔測(cè)量給定像素的光強(qiáng)度。只是光強(qiáng)，并沒(méi)有顏色。例如你在沙灘上，觀看太平洋上的日落。 你看到的景象是這樣的： 你記憶中的樣子。 相機(jī)上的光傳感器陣列只能看到一張單色圖片（可能更暗一些，因?yàn)楣鈧鞲衅鞲兄饩€的方式與人眼不同，原始處理（raw processing）關(guān)心的就是這個(gè)問(wèn)題，但是一張超級(jí)黯淡的圖片并不會(huì)讓人感興趣，所以...... 沒(méi)有色彩濾波陣列的相機(jī)看到的是這樣的。 在光傳感器陣列上面加上色彩濾波陣列后會(huì)產(chǎn)生不同的結(jié)果。色彩濾波陣列讓傳感器記錄每一個(gè)像素的顏色，例如： 色彩濾波陣列將每個(gè)像素記為單個(gè)的紅色、綠色或者藍(lán)色。這幅圖呈綠色的原因是拜耳陣列（Bayer array）的綠色像素是紅色和藍(lán)色像素的兩倍，這是為了模仿人眼感知顏色的方式。 數(shù)碼照相機(jī)對(duì)每一個(gè)給定像素只會(huì)記錄三種顏色之中的一個(gè)。例如對(duì)于紅色像素，色彩濾波陣列會(huì)移除所有的藍(lán)色和綠色信息，最終導(dǎo)致這個(gè)像素僅僅記錄紅色。因此原始圖像中的每個(gè)像素都會(huì)缺失其他兩種顏色的信息。 軟件是如何重建圖像的 數(shù)字照片中每個(gè)像素復(fù)合的紅、綠、藍(lán)色的值是通過(guò)逆馬賽克變換過(guò)程來(lái)創(chuàng)建的。 逆馬賽克變換方法的出現(xiàn)是藝術(shù)與科學(xué)。有很多種方式可以對(duì)一張照片進(jìn)行逆馬賽克處理。逆馬賽克設(shè)計(jì)的選擇可以影響一切，從照片的整體分辨率到較小顏色區(qū)域的保真度，以及精細(xì)細(xì)節(jié)的準(zhǔn)確再現(xiàn)。 在其最基本的形式中，逆馬賽克過(guò)程會(huì)將鄰近像素的顏色值平均化。例如，具有紅色濾波器的像素將僅提供這個(gè)像素關(guān)于紅色光強(qiáng)的記錄。逆馬賽克算法會(huì)對(duì)所有四個(gè)相鄰藍(lán)色像素的值取平均，來(lái)決定最可能的藍(lán)色值，然后對(duì)周圍的綠色像素也進(jìn)行同樣的操作得到綠色值。猜測(cè)最可能的值是什么的過(guò)程叫做插值，它是逆馬賽克過(guò)程的一個(gè)重要部分。 在具有平滑色彩梯度或者恒定顏色的圖像區(qū)域中，逆馬賽克過(guò)程相對(duì)簡(jiǎn)單一些，比如藍(lán)天和白云。然而，在具有更復(fù)雜的圖像區(qū)域中，這個(gè)過(guò)程會(huì)變得特別棘手。在具有紋理、精細(xì)細(xì)節(jié)、重復(fù)圖案和尖銳邊緣的區(qū)域中，標(biāo)準(zhǔn)的逆馬賽克方法會(huì)遇到麻煩，從而產(chǎn)生較低分辨率和有問(wèn)題的圖像。 高級(jí)的逆馬賽克方法能夠處理這些復(fù)雜區(qū)域，但是這些方法消耗大量計(jì)算資源。構(gòu)建一幅圖像需要大量數(shù)學(xué)計(jì)算來(lái)執(zhí)行必需的插值操作。即使在最強(qiáng)大的計(jì)算機(jī)硬件上，這也需要時(shí)間。 因此，像 Lightroom 這樣的軟件一直在不斷地進(jìn)行圖像保真度和速度之間的權(quán)衡。 逆馬賽克問(wèn)題 實(shí)際上需要解決的逆馬賽克問(wèn)題并不多。但是他們一次又一次，以新的和更復(fù)雜的形式，在一張又一張的圖像中出現(xiàn)。
Adobe 一直在努力提升逆馬賽克算法。多年來(lái)，Adobe 已經(jīng)將算法改進(jìn)到能夠在大多數(shù)圖像上表現(xiàn)得非常好的程度。但是這些特殊的難題仍需要我們以不同的方式思考這個(gè)問(wèn)題。 增強(qiáng)細(xì)節(jié) 進(jìn)入 Adobe Sensei。Sensei 集成了人工智能的所有分支，包括機(jī)器學(xué)習(xí)。 增強(qiáng)細(xì)節(jié)使用一個(gè)經(jīng)過(guò)大量訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片質(zhì)量最大化的優(yōu)化。Adobe 使用有問(wèn)題的示例訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)原始圖像進(jìn)行逆馬賽克處理，然后利用內(nèi)置于最新 Mac OS 和 win10 操作系統(tǒng)中的機(jī)器學(xué)習(xí)框架來(lái)運(yùn)行這個(gè)網(wǎng)絡(luò)。增強(qiáng)細(xì)節(jié)使用的神經(jīng)網(wǎng)絡(luò)已經(jīng)在超過(guò)十億示例上進(jìn)行了訓(xùn)練。 這十億示例中的每一個(gè)都包含一或多個(gè)上述問(wèn)題，它們給標(biāo)準(zhǔn)的逆馬賽克方法帶來(lái)了嚴(yán)重的麻煩。Adobe 訓(xùn)練了兩個(gè)模型：一個(gè)用于 Bayer 傳感器，另一個(gè)用于 Fujifilm X-Trans 傳感器。 所以，增強(qiáng)細(xì)節(jié)帶來(lái)了令人驚嘆的效果，包括更高的分辨率、更準(zhǔn)確的邊緣和細(xì)節(jié)渲染、更少的偽影（如假色和莫爾圖案）。 Adobe 用西門子星分辨率測(cè)試卡進(jìn)行了計(jì)算，發(fā)現(xiàn)「增強(qiáng)細(xì)節(jié)」在 Bayer 和 X-Trans 原始圖像上能夠提供高達(dá) 30% 的分辨率提升。如果你想自己嘗試一下，請(qǐng)自行下載富士膠片原始文件（https://theblogimages.adobe.com/wp-content/uploads/2019/02/Fuji-X-Trans-Sample-File.zip）。 原文鏈接：https://theblog.adobe.com/enhance-details/ 本文為機(jī)器之心編譯，轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。 ?------------------------------------------------ 加入機(jī)器之心（全職記者 / 實(shí)習(xí)生）：hr@jiqizhixin.com 投稿或?qū)で髨?bào)道：content@jiqizhixin.com 廣告 & 商務(wù)合作：bd@jiqizhixin.com |
|
|
來(lái)自： taotao_2016 > 《計(jì)算機(jī)》
