光是人類對(duì)物理世界進(jìn)行觀測與感知最重要的載體之一，人類通過人眼接收?qǐng)鼍爸形矬w發(fā)出的光線(主動(dòng)或被動(dòng)發(fā)光)進(jìn)行感知。成像感知系統(tǒng)是人眼的延伸，捕獲、記錄、分析場景的光信息。然而，現(xiàn)有的成像感知系統(tǒng)大多僅支持二維成像，迫使我們只能通過二維窗口去觀察三維世界，從而丟失了三維世界的豐富信息。

何為光場？

光場是三維世界中光線集合的完備表示，采集并顯示光場就能在視覺上重現(xiàn)真實(shí)世界。

而光場技術(shù)就是把人眼看到的光線空間采集下來，再將光線進(jìn)行重組，可以讓虛擬現(xiàn)實(shí)模擬出人眼基于距離對(duì)物體聚焦、移動(dòng)的效果，捕捉光線信息，重現(xiàn)三維世界。例如醫(yī)生借助單攝像頭內(nèi)窺鏡進(jìn)行腹腔手術(shù)時(shí)，因無法判斷腫瘤的深度位置，從而需要從多個(gè)角度多次觀察才能緩慢地下刀切割。

從光場成像的角度可以解釋為：因?yàn)槿狈﹄p目視差，只能依靠移動(dòng)視差來產(chǎn)生立體視覺。再例如遠(yuǎn)程機(jī)械操作人員通過觀看監(jiān)視器平面圖像進(jìn)行機(jī)械遙控操作時(shí)，操作的準(zhǔn)確性和效率都遠(yuǎn)遠(yuǎn)低于現(xiàn)場操作。

全光函數(shù)（Plenoptic Function）包含7個(gè)維度，是表示光場的數(shù)學(xué)模型。由于7個(gè)維度的信息會(huì)急劇增加采集、處理、傳輸?shù)呢?fù)擔(dān)，因此實(shí)際應(yīng)用中更多的是采用4D光場模型。

光場成像系統(tǒng)主要是通過光學(xué)裝置采集捕捉到空間分布的四維光場，再根據(jù)不同的應(yīng)用需求來計(jì)算出相應(yīng)的圖像。

計(jì)算光場成像技術(shù)基于四維光場，旨在建立光在空域、視角、光譜和時(shí)域等多個(gè)維度的關(guān)系，實(shí)現(xiàn)耦合感知、解耦重建與智能處理，用于面向大范圍動(dòng)態(tài)場景的多維多尺度成像。

受益于空間-視角維度假設(shè)以及軟硬件技術(shù)的進(jìn)步，如今光場成像可由便攜化的商用設(shè)備實(shí)現(xiàn)，甚至可集成到手機(jī)中；亦可應(yīng)用到顯微鏡中，實(shí)現(xiàn)快速掃描下生物樣本的三維成像；光場相機(jī)的廣泛使用使一些新的應(yīng)用成為可能，包括最初基于真實(shí)感圖像的光場渲染以及現(xiàn)在利用光場編碼信息的計(jì)算機(jī)視覺應(yīng)用，例如3D重建、分割、顯著性檢測、物體檢測與識(shí)別、跟蹤和視頻增穩(wěn)等。

光場成像技術(shù)正逐漸應(yīng)用于生命科學(xué)、工業(yè)探測、國家安全、無人系統(tǒng)和虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，具有重要的學(xué)術(shù)研究價(jià)值和產(chǎn)業(yè)應(yīng)用前景。

為什么要研究光場？

從光場采集的角度來看：

以自動(dòng)駕駛為例，首先需要通過多種傳感器去“感知”外界信息，然后通過類腦運(yùn)算進(jìn)行“決策”，最后將決策以機(jī)械結(jié)構(gòu)為載體進(jìn)行“執(zhí)行”。現(xiàn)階段人工智能的發(fā)展更傾向于“類腦”的研究，即如何使計(jì)算機(jī)具有人腦類似的決策能力。然而卻忽略了“眼睛”作為一種信息感知入口的重要性。設(shè)想一個(gè)人非?！奥斆鳌钡且暳τ姓系K，那么他將無法自如的駕駛汽車。而自動(dòng)駕駛正面臨著類似的問題。如果攝像機(jī)能采集到7個(gè)維度所有的信息，那么就能保證視覺輸入信息的完備性，而“聰明”的大腦才有可能發(fā)揮到極致水平。研究光場采集將有助于機(jī)器看到更多維度的視覺信息。

從光場的顯示角度來看：

以LCD/OLED顯示屏為例，顯示媒介只能呈現(xiàn)光場中四個(gè)維度的信息，而丟失了其他三個(gè)維度的信息。在海陸空軍事沙盤、遠(yuǎn)程手術(shù)等高度依賴3D視覺的場景中，傳統(tǒng)的2D顯示媒介完全不能達(dá)到期望的效果。當(dāng)光場顯示的角度分辨率和視點(diǎn)圖像分辨率足夠高時(shí)，可以等效為動(dòng)態(tài)數(shù)字彩色全息。研究光場顯示將有助于人類看到更多維度的視覺信息。

光場成像的獲取途徑

目前常用的光場成像方式主要有兩種：一是利用相機(jī)陣列采集來自不同方向(分布)的光線；二是將不同方向的光線信息與不同位置的光線信息混合編碼至平面成像的芯片中。

在實(shí)際應(yīng)用中，尤其是利用相機(jī)整列采集光場數(shù)據(jù)時(shí)，光場的視點(diǎn)采樣往往是稀疏的、欠采樣的。因此，如何利用稀疏化的采樣數(shù)據(jù)進(jìn)行光場重建，是光場成像及其應(yīng)用的基礎(chǔ)難題。

此外，光場的高維度極大地增加了對(duì)其進(jìn)行處理和分析的復(fù)雜度，在算法設(shè)計(jì)上施加了更具挑戰(zhàn)性的條件。例如,傳統(tǒng)2D圖像中的分割旨在將單個(gè)圖像內(nèi)的前景和背景分開，而在光場中執(zhí)行分割時(shí)，不僅要對(duì)多個(gè)視點(diǎn)的圖像進(jìn)行處理，還需要保持光場結(jié)構(gòu)的穩(wěn)定性。

如何用光場這一高維信息采集手段，取代傳統(tǒng)二維成像這一視覺感知方法，并結(jié)合智能信息處理技術(shù)實(shí)現(xiàn)智能化感知功能，是實(shí)現(xiàn)光場成像技術(shù)產(chǎn)業(yè)應(yīng)用面臨的巨大挑戰(zhàn)。

光場的采集方法

光場顯示能在視覺上完全重現(xiàn)真實(shí)世界，但在顯示光場以前首先要采集光場，否則將會(huì)是“巧婦難為無米之炊”。現(xiàn)有的光場采集方法可分為三個(gè)類型：多傳感器采集、時(shí)序采集和多路復(fù)用成像。

1多傳感器采集

多傳感器采集方法，需要用到分布在平面或球面上的圖像傳感器陣列，以同時(shí)捕獲來自不同視點(diǎn)的光場樣本。光場的空間尺寸由傳感器來確定，而角度尺寸則由攝像機(jī)的數(shù)量及分布來確定。因此，多傳感器采集方法通過采集圖像的組合來記錄4D光場。圖1為用于多傳感器采集的設(shè)備。

圖1 (a)8×12個(gè)攝像機(jī)組成的攝像機(jī)陣列系統(tǒng)；(b)8×8攝像機(jī)陣列實(shí)現(xiàn)了實(shí)時(shí)光場渲染；(c)90 mm×90 mm×60 mm 的光場相機(jī)陣列；(d) 超薄單片4×4相機(jī)陣列，可集成到手機(jī)中。

多傳感器采集方法能夠瞬時(shí)捕獲光場，因此能夠記錄光場時(shí)間序列。由于采用攝像機(jī)陣列，因此早期的多傳感器系統(tǒng)的體積龐大且昂貴。然而，我們可以通過近期出現(xiàn)的更便宜和更便攜的設(shè)計(jì)發(fā)現(xiàn)這種多傳感器采集方法的潛力。

2時(shí)序采集

與多傳感器方法相比，時(shí)序采集方法使用單圖像傳感器，并通過多次曝光來捕獲光場的多個(gè)樣本。典型的方法是使用安裝在機(jī)械臺(tái)架上的傳感器來測量不同位置的光場，圖2為用于時(shí)序采集的設(shè)備。

圖2 (a)斯坦福大學(xué)于1996年搭建的光場龍門架，可以實(shí)現(xiàn)靜態(tài)光場的采集，通過物體、相機(jī)和光照的全自由度控制能實(shí)現(xiàn)高質(zhì)量靜態(tài)光場數(shù)據(jù)的采集；(b)裝有捕獲四維光場的單個(gè)攝像機(jī)的電動(dòng)線性平臺(tái)；(c)可編程光圈，可通過多次曝光捕獲光場

通過移動(dòng)圖像傳感器在不同的視點(diǎn)采集圖像，這不僅需要高精度的控制，而且耗時(shí)。

幸運(yùn)的是，人們提出了一些快速時(shí)序采集方法。如使用平面鏡和高動(dòng)態(tài)范圍攝像機(jī)來記錄光場，通過移動(dòng)平面鏡產(chǎn)生不同的視點(diǎn)供相機(jī)采集；由球鏡和單攝像機(jī)組成“軸向光場”，通過沿著鏡子的旋轉(zhuǎn)軸移動(dòng)相機(jī)來采集；作為反射表面的替代,一個(gè)可編程光圈可通過多次曝光捕獲光場,如圖2(c)所示?？讖綀D案被不透明的紙張或液晶陣列編碼，允許相機(jī)從特定角度捕獲光線。通過使孔徑圖案與相機(jī)曝光同步，就可以使用全傳感器分辨率采樣光場。

與多傳感器系統(tǒng)相比，時(shí)序采集系統(tǒng)僅需要一個(gè)傳感器，從而降低了整個(gè)系統(tǒng)的成本。此外，時(shí)序采集系統(tǒng)能夠采集密集角度分辨率的光場，多傳感器系統(tǒng)由于成本高而無法做到這一點(diǎn)。但是時(shí)序系統(tǒng)中的采集過程耗費(fèi)時(shí)間，因此，它們僅適用于靜態(tài)場景。

3多路復(fù)用成像

這種方法旨在通過將角域復(fù)用到空間(或頻率)域中來將4D光場編碼到2D傳感器平面。它允許使用單個(gè)圖像傳感器進(jìn)行動(dòng)態(tài)光場的捕獲，但需在空間和角度分辨率之間進(jìn)行權(quán)衡(即若想在空間域中密集采樣，需在角域中稀疏采樣，反之則反)。

多路復(fù)用成像可進(jìn)一步分為空間復(fù)用和頻率復(fù)用。

a.空間復(fù)用

大多數(shù)空間復(fù)用方法使用安裝在圖像傳感器上的微透鏡陣列或小透鏡陣列來實(shí)現(xiàn)，這是光場成像的最早方法之一。一些光場采集方法也使用濾波器和鏡面陣列來實(shí)現(xiàn)。圖3是用于多路成像的裝置。除測量宏觀物體或場景之外，還可使用空間多路復(fù)用來捕捉微尺度的樣本。

圖3 (a)微透鏡光場相機(jī)及其原理；(b)斯坦福大學(xué)開發(fā)的基于微透鏡陣列原理的光場顯微鏡；(c)多反射球光場采集裝置；(d)基于掩模的光場復(fù)用采集方法

空間復(fù)用是采集光場最廣泛使用的方法，可基于單次曝光采集的光場形成單圖像。然而，空間多路復(fù)用方法存在其固有的問題，即在圖像傳感器處的角度和空間分辨率之間的折中。為解決這個(gè)問題，則需要采用犧牲角分辨率的方式來獲得更高的空間分辨率，利用4×5陣列的鏡頭和切成正方形的棱鏡，將它們放置在傳統(tǒng)相機(jī)前面，以采集低角度分辨率的光場。然后，應(yīng)用插值技術(shù)來合成密集角分辨率光場。

b. 頻率復(fù)用

與空間復(fù)用方法不同，頻率復(fù)用方法將光場的不同2D切片編碼到不同的頻帶中。通常，頻率復(fù)用方法使用調(diào)制掩碼來實(shí)現(xiàn)傅里葉域中的某種屬性。

盡管頻率和空間復(fù)用是兩種不同的復(fù)用成像方法，但它們?cè)趶?fù)用模式方面有密切關(guān)系。研究表明，可通過空間插值來重建在傅里葉空間使用的模板，且還可以使用傅里葉空間算法重建空間模板。此外，頻率復(fù)用的傅里葉重建相當(dāng)于使用Sinc濾波器核進(jìn)行空間重構(gòu)，且可通過空間濾波器(例如cubic插值)或邊緣保留濾波器顯著消除產(chǎn)生的環(huán)狀偽像。

光場技術(shù)的應(yīng)用展望

從全世界光場技術(shù)的發(fā)展趨勢來看，美國硅谷的科技巨頭如谷歌、Facebook、Magic Leap等爭相布局和儲(chǔ)備光場技術(shù)，有些甚至已經(jīng)出現(xiàn)了Demo應(yīng)用。目前光場技術(shù)在照明工程、光場渲染、重光照、重聚焦攝像、合成孔徑成像、3D顯示、安防監(jiān)控等場合有著廣泛的應(yīng)用。

對(duì)光場技術(shù)的研究主要分為兩大方面，包括光場采集和光場顯示。

光場采集技術(shù)相對(duì)更成熟，目前在某些To B領(lǐng)域已經(jīng)基本達(dá)到可以落地使用的程度。光場采集主要是提供3D數(shù)字內(nèi)容，對(duì)于光場采集系統(tǒng)的硬件成本、體積、功耗有更大的可接受度。相關(guān)應(yīng)用如吃到第一只螃蟹的Lytro光場相機(jī)，在工業(yè)領(lǐng)域的應(yīng)用一直穩(wěn)步上升。

相比之下，光場顯示是偏向To C的產(chǎn)品，個(gè)體用戶在成本、體積、功耗、舒適度等多方面都極度挑剔。光場顯示除了能產(chǎn)生傳統(tǒng)的2D顯示器的所有信息外，還能提供雙目視差、移動(dòng)視差、聚焦模糊三方面的生理視覺信息。在光場顯示技術(shù)發(fā)展過程中，出現(xiàn)了多種光場顯示技術(shù)，最常見的有：多層液晶張量顯示、數(shù)字顯示、全息顯示、集成成像光場顯示、多視投影陣列光場顯示、體三維顯示。目前，光場顯示正在通往商業(yè)化實(shí)用的道路上，最大的挑戰(zhàn)在于光場顯示設(shè)備的小型化和低功耗，這需要材料學(xué)、光學(xué)、半導(dǎo)體等多個(gè)基礎(chǔ)學(xué)科的共同努力。

本文根據(jù)方璐教授、戴瓊海院士撰寫的《計(jì)算光場成像》以及曹煊博士發(fā)表的《Mars說光場》部分內(nèi)容改編整理而成。

封面來源：bing.com