1.1 TOF初探

TOF是Time of flight的簡寫，直譯為飛行時間的意思。所謂飛行時間法3D成像，是通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標(biāo)物距離。這種技術(shù)跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點(diǎn)掃描，而TOF相機(jī)則是同時得到整幅圖像的深度信息。TOF相機(jī)與普通機(jī)器視覺成像過程也有類似之處，都是由光源、光學(xué)部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非侵入式三維探測、適用領(lǐng)域非常類似的雙目測量系統(tǒng)相比，TOF相機(jī)具有根本不同3D成像機(jī)理。雙目立體測量通過左右立體像對匹配后，再經(jīng)過三角測量法來進(jìn)行立體探測，而TOF相機(jī)是通過入、反射光探測來獲取的目標(biāo)距離獲取。

TOF技術(shù)采用主動光探測方式，與一般光照需求不一樣的是，TOF照射單元的目的不是照明，而是利用入射光信號與反射光信號的變化來進(jìn)行距離測量，所以，TOF的照射單元都是對光進(jìn)行高頻調(diào)制之后再進(jìn)行發(fā)射，比如下圖所示的采用LED或激光二極管發(fā)射的脈沖光，脈沖可達(dá)到100MHz。與普通相機(jī)類似，TOF相機(jī)芯片前端需要一個搜集光線的鏡頭。不過與普通光學(xué)鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照明光源波長相同的光才能進(jìn)入。同時由于光學(xué)成像系統(tǒng)具有透視效果，不同距離的場景為各個不同直徑的同心球面，而非平行平面，所以在實(shí)際使用時，需要后續(xù)處理單元對這個誤差進(jìn)行校正。作為TOF的相機(jī)的核心，TOF芯片每一個像元對入射光往返相機(jī)與物體之間的相位分別進(jìn)行紀(jì)錄。該傳感器結(jié)構(gòu)與普通圖像傳感器類似，但比圖像傳感器更復(fù)雜，它包含2個或者更多快門，用來在不同時間采樣反射光線。因?yàn)檫@種原因，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。照射單元和TOF傳感器都需要高速信號控制，這樣才能達(dá)到高的深度測量精度。比如，照射光與TOF傳感器之間同步信號發(fā)生10ps的偏移，就相當(dāng)于1.5mm的位移。而當(dāng)前的CPU 可到3GHz，相應(yīng)得時鐘周期是300ps，則相應(yīng)得深度分辨率為45mm。運(yùn)算單元主要是完成數(shù)據(jù)校正和計算工作，通過計算入射光與反射光相對相移關(guān)系，即可求取距離信息。

TOF的優(yōu)勢：與立體相機(jī)或三角測量系統(tǒng)比，TOF相機(jī)體積小巧，跟一般相機(jī)大小相去無幾，非常適合于一些需要輕便、小體積相機(jī)的場合。TOF相機(jī)能夠?qū)崟r快速的計算深度信息，達(dá)到幾十到100fps。TOF的深度信息。而雙目立體相機(jī)需要用到復(fù)雜的相關(guān)性算法，處理速度較慢。TOF的深度計算不受物體表面灰度和特征影響，可以非常準(zhǔn)確的進(jìn)行三維探測。而雙目立體相機(jī)則需要目標(biāo)具有良好的特征變化，否則會無法進(jìn)行深度計算。TOF的深度計算精度不隨距離改變而變化，基本能穩(wěn)定在cm級，這對于一些大范圍運(yùn)動的應(yīng)用場合非常有意義。

1.2 TOF研究機(jī)構(gòu)

<1> Dynamic 3D Vision (2006-2010):

研究領(lǐng)域：多芯片2D/3D傳感器, 動態(tài)場景重建, 目標(biāo)位置識別和光場計算

官網(wǎng)：www.zess.uni-siegen.de/pmd-home/dyn3d

<2>ARTTS (2007-2010):

全稱：“Action Recognition and Tracking based on Time-of-Flight Sensors”

官網(wǎng)：http://www.

研究領(lǐng)域：開發(fā)更加小型更加便宜的新一代TOF相機(jī)；將HDTV與TOF技術(shù)相結(jié)合(iii) 基于動作跟蹤和識別算法的多模式接口和交互系統(tǒng)

<3>Lynkeus (2006-2009):

官網(wǎng)：www.lynkeus-3d.de

研究領(lǐng)域：致力于工業(yè)應(yīng)用領(lǐng)域的高分辨率和魯棒性的TOF傳感器，例如自動化和機(jī)器人導(dǎo)航

<4>3D4YOU(2008-2010):

官網(wǎng)：www.3d4you.eu

研究領(lǐng)域: 構(gòu)建3D-TV產(chǎn)品線,從3電影中實(shí)時獲取點(diǎn)云數(shù)據(jù)并且轉(zhuǎn)換為3D顯示到家庭電視中3D4YOU 應(yīng)用ToF range cameras初始化估計多個高清晰度相機(jī)的深度以及初始化計算3D場景圖像的深度。

<5>MOSES(2008-2012):

全稱：“Multi-Modal Sensor Systems for Environmental Ex-ploration (MOSES)”

研究領(lǐng)域：基于傳感器的多方面的應(yīng)用，包括基于TOF的人機(jī)接口和多傳感器融合

官網(wǎng)：www.zess.uni-siegen.de/ipp_home/moses

1.3 TOF之應(yīng)用領(lǐng)域

TOF 相機(jī)目前的主要應(yīng)用領(lǐng)域包括：

<1> 物流行業(yè)：通過 TOF 相機(jī)迅速獲得包裹的拋重（即體積），來優(yōu)化裝箱和進(jìn)行運(yùn)費(fèi)評估；

<2> 安防和監(jiān)控：進(jìn)行 Peoplecounting 確定進(jìn)入人數(shù)不超過上限；通過對人流或復(fù)雜交通系統(tǒng)的counting，實(shí)現(xiàn)對安防系統(tǒng)的統(tǒng)計分析設(shè)計；敏感地區(qū)的檢測對象監(jiān)視；機(jī)器視覺：工業(yè)定位、工業(yè)引導(dǎo)和體積預(yù)估；替代工位上占用大量空間的、基于紅外光進(jìn)行安全生產(chǎn)控制的設(shè)備；

<3> 機(jī)器人：在自動駕駛領(lǐng)域提供更好的避障信息；機(jī)器人在安裝、質(zhì)量控制、原料揀選應(yīng)用上的引導(dǎo)；

<4>醫(yī)療和生物：足部矯形建模、病人活動/狀態(tài)監(jiān)控、手術(shù)輔助、面部3D 識別；

<5>互動娛樂：動作姿勢探測、表情識別、娛樂廣告

1.4 TOF相機(jī)特點(diǎn)

<1>優(yōu)點(diǎn)：

1.相對二維圖像，可通過距離信息獲取物體之間更加豐富的位置關(guān)系，即

區(qū)分前景與后景；

2.深度信息依舊可以完成對目標(biāo)圖像的分割、標(biāo)記、識別、跟蹤等傳統(tǒng)應(yīng)用；

3.經(jīng)過進(jìn)一步深化處理，可以完成三維建模等應(yīng)用；

4.能夠快速完成對目標(biāo)的識別與追蹤；

5.主要配件成本相對低廉，包括CCD和普通 LED 等，對今后的普及化生產(chǎn)及使用有利；

6.借助 CMOS 的特性，可獲取大量數(shù)據(jù)及信息，對復(fù)雜物體的姿態(tài)判斷極為有效；

7.無需掃描設(shè)備輔助工作

<2>缺點(diǎn)：

1.相對于普通數(shù)碼相機(jī)，其造價仍然偏高，影響該產(chǎn)品目前的普及使用率；

2.相機(jī)本身仍然受到硬件發(fā)展的限制，更新?lián)Q代速度較快；

3.測量距離較常規(guī)測量儀器短，一般不超過 10 米；

4.測量結(jié)果受被測物性質(zhì)的影響；

5.大多數(shù)機(jī)器的測量結(jié)果受外界環(huán)境干擾較為明顯，尤其是受外界光源干擾；

6.分辨率相對較低，本文研究的 PMD Camcube 2.0 型號相機(jī)，為目前分辨率

最高的 3D 相機(jī)，其分辨率僅為 204×204像素；

7. 系統(tǒng)誤差及隨機(jī)誤差對結(jié)果影響明顯，需要進(jìn)行后期數(shù)據(jù)處理。

2 深度相機(jī)比較

目前的深度相機(jī)有TOF、結(jié)構(gòu)光、激光掃描等幾種。主要用于機(jī)器人、互動游戲等應(yīng)用。其中較多的是指TOF相機(jī)。目前主流的有TOF相機(jī)廠商有PMD、MESA、Optrima、微軟等幾家，其中MESA在科研領(lǐng)域使用較大，相機(jī)緊湊性好，而PMD是唯一一款能夠在戶內(nèi)、戶外均能使用的TOF相機(jī)，并且能夠具有多種探測距離，可用于科研、工業(yè)等各種場合。而Optrima、微軟（還不是真正的TOF技術(shù)）的相機(jī)主要面向家庭、娛樂應(yīng)用，價位較低。

<1>MESA公司：SR4000

官網(wǎng)：www.mesa-imaging.ch

<2>PMD公司：CamCube3.0

官網(wǎng)：www.

<3> Canesta公司：XZ422

官網(wǎng)：www.canesta.com

<4> Fotonic公司

官網(wǎng)：http://www./content/Company/Default.aspx

2.1 MESA系列介紹

MESA Imaging AG成立于2006年7月，致力于生產(chǎn)銷售世界領(lǐng)先的3D 飛行時間（TOF）深度測繪相機(jī)。該相機(jī)采用的圖像芯片技術(shù)，能夠?qū)崟r采集三維數(shù)據(jù)列（通常稱之為深度圖像），并集成于一個緊湊的固件內(nèi)。MESA 在此領(lǐng)域榮獲過SwissRanger技術(shù)創(chuàng)新獎，眾多的成功經(jīng)驗(yàn)可以為客戶帶來定制相機(jī)解決方案。MESA的產(chǎn)品能夠進(jìn)行單相機(jī)3D成像。它采用飛行時間法（Time of flight），通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光、探測光脈沖的飛行（往返）時間來得到目標(biāo)物距離。相比于其它立體成像方式，這種方式具有實(shí)時性好、無死區(qū)等特點(diǎn)。MESA的芯片由專門的廠家生產(chǎn)，并引進(jìn)了CCD/CMOS生產(chǎn)工序，保證了光電功能模塊的獨(dú)立性以及優(yōu)化配置。由此保證了MESA使用的芯片的底層噪聲和隨后的距離測量能力大大優(yōu)于基于標(biāo)準(zhǔn)CMOS工藝制造的芯片。其型號是SR4000

SR4000 3D測距相機(jī)能以視頻幀速率實(shí)時輸出3維距離值和振幅值?；跁r間飛行原理（time-of-flight TOF），相機(jī)包括一個內(nèi)置的激光光源，發(fā)射光經(jīng)場景中的物體反射后返回相機(jī)，每個圖像傳感器中的像素點(diǎn)都分別精確測量該時間間隔，并獨(dú)立算出距離值。設(shè)計用于戶內(nèi)環(huán)境，SR4000可輕易經(jīng)USB2.0或者以太網(wǎng)（Ethernet）接口連接到電腦或者網(wǎng)絡(luò)中，快速生成實(shí)時深度圖。代表著MESA公司第4代時間飛行原理相機(jī)，它可輸出穩(wěn)定的距離值，外形美觀、堅固，體積?。?5 X 65 X 68mm）（USB版）。 SR4000隨機(jī)包括驅(qū)動和軟件接口程序，用戶可以通過接口程序創(chuàng)建更多的應(yīng)用。

2.2 PMD Tec系列

Camcube3.0是全球第一款可應(yīng)用于室外環(huán)境的高精度深度相機(jī)，這為汽車輔助駕駛、移動機(jī)器人等應(yīng)用帶來了便利。在汽車等交通工具中，停車、開車運(yùn)行等都一直通過駕駛員的直接觀測和經(jīng)驗(yàn)來完成，由于人的經(jīng)驗(yàn)誤差或精神狀態(tài)影響，在實(shí)際過程中，難免會出現(xiàn)各種狀況。而通過TOF相機(jī)3D探測，可以很方便的對外界環(huán)境進(jìn)行探測，并對駕駛員起到提醒和輔助駕駛的作用。

PMDTec公司是一家德國公司，其原身是德國錫根大學(xué)一個研究傳感器系統(tǒng)（ZESS）的中心實(shí)驗(yàn)室，2002年從德國錫根大學(xué)分離出來組建了公司，后被另一家公司收購組建了現(xiàn)在的PMDTec公司。該公司研究3D TOF Imaging（時間飛行技術(shù)）超過了10年。2011年，Omek Interactive和PMDTechnologies宣布達(dá)成了戰(zhàn)略合作伙伴關(guān)系，以提供姿態(tài)識別和身體跟蹤解決方案，這為今后的商業(yè)應(yīng)用打下了堅實(shí)的基礎(chǔ)。該公司的產(chǎn)品已經(jīng)開發(fā)到了第三代 - CamCube3.0。3D攝像頭的分辨率為200*200，可以以每秒40幀的速度獲取場景的深度信息和灰度圖像。CamCube3.0具有非常高的靈敏度，它可以在較短的快門時間內(nèi)獲得更高精度和更遠(yuǎn)的探測距離。由于其獨(dú)家的SBI技術(shù)，TOF是少有的既可以用于室內(nèi)，又可以用于室外的TOF相機(jī)，并可以探測快速運(yùn)動目標(biāo)。不過缺點(diǎn)就是價格不菲，不含稅的話，要12000美元。所以只適合搞科研，對于民用還有很長的路要走。

PMDTec 公司網(wǎng)址：http://www./

PMDTec Wiki：http://en./wiki/PMDTechnologies

2.3 NATAL

Natal并不是基于ToF的原理，PrimeSense為微軟提供了其三維測量技術(shù)，并應(yīng)用于Project Natal。在PrimeSense公司的主頁上提到其使用的是一種光編碼（light coding）技術(shù)。不同于傳統(tǒng)的ToF或者結(jié)構(gòu)光測量技術(shù)，light coding使用的是連續(xù)的照明（而非脈沖），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，這讓方案的成本大大降低。Light coding，顧名思義就是用光源照明給需要測量的空間編上碼，說到底還是結(jié)構(gòu)光技術(shù)。但與傳統(tǒng)的結(jié)構(gòu)光方法不同的是，他的光源打出去的并不是一副周期性變化的二維的圖像編碼，而是一個具有三維縱深的“體編碼”。這種光源叫做激光散斑（laser speckle），是當(dāng)激光照射到粗糙物體或穿透毛玻璃后形成的隨機(jī)衍射斑點(diǎn)。這些散斑具有高度的隨機(jī)性，而且會隨著距離的不同變換圖案。也 Kinect就是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了標(biāo)記，把一個物體放進(jìn)這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。當(dāng)然，在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源的標(biāo)定。在PrimeSense的專利上，標(biāo)定的方法是這樣的：每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)Natal規(guī)定的用戶活動空間是距離電視機(jī)1米到4米的范圍，每隔10cm取一個參考平面，那么標(biāo)定下來我們就已經(jīng)保存了30幅散斑圖像。需要進(jìn)行測量的時候，拍攝一副待測場景的散斑圖像，將這幅圖像和我們保存下來的30幅參考圖像依次做互相關(guān)運(yùn)算，這樣我們會得到30幅相關(guān)度圖像，而空間中有物體存在的位置，在相關(guān)度圖像上就會顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就會得到整個場景的三維形狀了。

2.4 primeSense

　　今天最常見的影像捕捉設(shè)備是數(shù)碼相機(jī)。數(shù)碼相機(jī)輸出一個像素矩陣，每個像素代表一個色值。這是一種二維（2D）視覺技術(shù)。3D 視覺是指除了捕捉目標(biāo)的空間位置（x 軸和 y 軸）和顏色之外，還能捕捉目標(biāo)的深度（又稱 Z 軸、范圍、距離）及其周圍環(huán)境。一個 3D 視覺系統(tǒng)同時輸出每個場景的地形視圖和色彩視圖。PrimeSense是一家無廠半導(dǎo)體公司。他們的技術(shù)賦予電視、機(jī)頂盒、客廳電腦等消費(fèi)電子產(chǎn)品自然互動能力。他最得意的兩個字就是:深度。他們的 PrimeSensor 產(chǎn)品包含 Reference Design 和 NITE 中間件。PrimeSensor Reference Design 是一款成本低廉、即插即用、靠 USB 供電的設(shè)備，可以放在電視機(jī)或顯示器的頂部或旁邊，也可以嵌入其中。ReferenceDesign 能夠?qū)崟r生成客廳場景的深度、色彩和音頻數(shù)據(jù)。它能在各種室內(nèi)照明條件下工作（包括一片漆黑和非常明亮的房間）。它不需要用戶佩戴或手持任何東西，無需校準(zhǔn)，也不需要主機(jī)處理器做任何運(yùn)算。PrimeSensor 的設(shè)計中包含一個先進(jìn)的視覺數(shù)據(jù)處理中間件，它針對面向大眾市場的 CE 產(chǎn)品——NITE進(jìn)行了優(yōu)化。NITE 為開發(fā)豐富的自然互動應(yīng)用程序提供了算法框架。NITE SDK（軟件開發(fā)工具包）提供了一個文檔詳細(xì)的 API 和框架，既能完成 GUI（圖形用戶界面）的設(shè)計開發(fā)，又能完成游戲開發(fā)。

http://labs./rgbdemo/index.php/Main/Download RGBD標(biāo)定 ，必看??！

http://www.ee./~dherrera/kinect/ 最重要?。?！

http://nicolas./index.php/Research/KinectCalibration ToF 標(biāo)定

http://www./