來源：《中國科學(xué)：信息科學(xué)》

2013年以來，隨著虛擬現(xiàn)實(shí)(virtual reality，簡(jiǎn)稱VR)/增強(qiáng)現(xiàn)實(shí)(augmented reality，簡(jiǎn)稱AR) 設(shè)備(如頭戴式顯示器等) 質(zhì)量迅速提升、價(jià)格大幅降低，VR開始普及化，從軍事、航空航天等高端行業(yè)應(yīng)用進(jìn)入大眾生活。在這樣的趨勢(shì)下，越來越多的科技公司將眼光投向VR，部署研發(fā)團(tuán)隊(duì)并推出自己的VR創(chuàng)新產(chǎn)品，展開搶占VR產(chǎn)業(yè)制高點(diǎn)的激烈競(jìng)爭(zhēng)，使得VR 技術(shù)進(jìn)入了前所未有的快速發(fā)展時(shí)期。

任何一項(xiàng)新興高技術(shù)產(chǎn)業(yè)的可持續(xù)發(fā)展都需要有三方面的條件支撐，VR產(chǎn)業(yè)也不例外，這就是需要關(guān)鍵技術(shù)突破與科技創(chuàng)新的持續(xù)支持，各類VR人才的強(qiáng)大支撐，以及市場(chǎng)需求的不斷推動(dòng)，而市場(chǎng)的形成又有賴于VR 應(yīng)用系統(tǒng)與內(nèi)容的不斷豐富與創(chuàng)新。

實(shí)現(xiàn)一個(gè)VR系統(tǒng)，大體需要四方面的技術(shù): 數(shù)據(jù)與獲取、分析與建模、繪制與表現(xiàn)， 以及傳感與交互。這四個(gè)方面均涉及硬件平臺(tái)與裝置、核心芯片與器件、軟件平臺(tái)與工具和軟硬標(biāo)準(zhǔn)與規(guī)范。同時(shí)VR應(yīng)用也需要結(jié)合各行業(yè)領(lǐng)域的應(yīng)用技術(shù)，因此VR是學(xué)科高度綜合交叉的科學(xué)技術(shù)領(lǐng)域，是存在許多有待解決的科學(xué)技術(shù)問題、并不斷產(chǎn)生新科學(xué)技術(shù)問題的充滿活力的新興領(lǐng)域。

現(xiàn)有VR頭戴式顯示器看不到體驗(yàn)者自身，輸入不便，也缺少與景物的交互機(jī)制，身臨其境的感覺受限。因此，VR 鼠標(biāo)等便捷友好的VR 輸入方式，能夠?qū)崟r(shí)逼真地表現(xiàn)體驗(yàn)者肢體、并能與虛擬場(chǎng)景對(duì)象實(shí)時(shí)交互的機(jī)制是需要研究的問題。

頭戴式顯示虛擬場(chǎng)景的空間計(jì)算，包括體驗(yàn)者頭部和位置的實(shí)時(shí)精準(zhǔn)跟蹤定位，以及AR頭戴顯示中虛擬對(duì)象在現(xiàn)實(shí)空間中的位置計(jì)算與實(shí)時(shí)表現(xiàn)是需要進(jìn)一步研究的問題。與此相關(guān)，虛實(shí)融合是AR的基本問題之一，包括視頻式AR顯示中圖形對(duì)象與視頻圖像的融合，以及光學(xué)透視式AR顯示中圖形對(duì)象與現(xiàn)實(shí)景物的融合。 前者研究的時(shí)間比較長(zhǎng)，后者隨著光學(xué)AR頭戴顯示的實(shí)用化，逐步成為這一方向的主流， 許多問題有待解決。同時(shí)，光學(xué)透視式AR 的室外化，包括室外大場(chǎng)景下的虛實(shí)融合是有待探索的一個(gè)方向。

VR全景視頻(包括基于桌面、移動(dòng)終端或Web的VR視頻) 的采集、制作、交互式播放技術(shù)與設(shè)備，以及跨平臺(tái)VR視頻播放器，是一個(gè)研究發(fā)展方向。如何在VR 視頻中引入幾何與控制元素，增加VR視頻的交互類型，提高其交互性是值得研究的問題。

基于移動(dòng)終端和互聯(lián)網(wǎng)的VR具有巨大發(fā)展?jié)摿?。?duì)于前者， 低計(jì)算、低存儲(chǔ)VR 技術(shù)， 云計(jì)算VR技術(shù)， 低延遲大數(shù)據(jù)傳輸與新型交互等是可創(chuàng)新技術(shù)方向。后者需要全屏3D繪制、VR設(shè)備接入與更合適的人機(jī)交互機(jī)制， 以及新型瀏覽器標(biāo)準(zhǔn)。Web VR將對(duì)現(xiàn)有瀏覽器和郵件系統(tǒng)等帶來變革和顛覆性影響， 成為互聯(lián)網(wǎng)的新入口。

目前，虛擬對(duì)象的物理表現(xiàn)及其物理模型研究主要集中在運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)方面。物理模型也只有粒子系統(tǒng)、彈簧模型、SPH (smoothed particle hydrodynamics) 方法等少數(shù)幾個(gè)。物質(zhì)的許多物理特征(如材料特征)，爆炸、切割等物理現(xiàn)象，柔、黏、塑、流、氣、場(chǎng)等物質(zhì)對(duì)象的物理特征與交互響應(yīng)的實(shí)時(shí)逼真表現(xiàn)，存在許多理論問題。 由于物理模型計(jì)算量巨大， 因此具體應(yīng)用時(shí)實(shí)時(shí)性和逼真性之間的平衡也是需要考慮的問題。提出表現(xiàn)某類物理特征和物理現(xiàn)象的新型物理模型，構(gòu)造其物理引擎及核心算法芯片PPU (physics processing unit)， 可以帶來原創(chuàng)性、平臺(tái)工具性成果。

基于化學(xué)、生物學(xué)和生命科學(xué)的人體器官的生理、化學(xué)、生物進(jìn)化演化模型是有待深入研究的科學(xué)問題， 可能產(chǎn)生新的知識(shí)型、概率型等模型類型?，F(xiàn)實(shí)世界中的每一個(gè)(類) 對(duì)象，均可以構(gòu)建虛擬孿生，使其與現(xiàn)實(shí)孿生在幾何、物理、生理， 以及進(jìn)化演化等方面高度相似。人體、城市和復(fù)雜裝備的虛擬孿生會(huì)成為未來發(fā)展的重點(diǎn)， 并對(duì)醫(yī)療健康、城市規(guī)劃管理和裝備設(shè)計(jì)維護(hù)領(lǐng)域產(chǎn)生顛覆性影響。構(gòu)造虛擬孿生， 特別是可交互幾何類虛擬孿生的理論與方法，既是VR，也是AR，MR (mixed reality，混合現(xiàn)實(shí)) 等的基礎(chǔ)。

隨著VR應(yīng)用領(lǐng)域的不斷擴(kuò)展，虛擬人(或計(jì)算機(jī)生成的人) 操縱實(shí)體(如飛機(jī)、車輛等) 成為VR系統(tǒng)的重要組成部分，這些智能體的行為使得VR 系統(tǒng)所具有的3I (immersion， interaction， imagina-tion) 特征向4I發(fā)展，即VR系統(tǒng)將具有更多的智能(intelligence) 特征。該類問題的解決有賴于人工智能技術(shù)和人腦科學(xué)的發(fā)展。

人與虛擬對(duì)象之間的力/觸覺逼真感知的方式、機(jī)制及其設(shè)備仍然存在大量的問題， 特別是柔韌感; 此外新的感知通道， 如溫濕感、嗅/味覺等，有的剛起步，有的尚未涉足。這是一個(gè)需要多學(xué)科交叉研究解決的問題領(lǐng)域。

目前VR內(nèi)容制作生產(chǎn)力低下，原因一是VR 建模、繪制、修補(bǔ)等生產(chǎn)環(huán)節(jié)的工具和開發(fā)平臺(tái)自動(dòng)化、智能化程度低， 二是VR 硬件不兼容，均采用各自的軟件開發(fā)工具包(software development kit， SDK)。提高3D建模(幾何、圖像、掃描等) 的效率和空洞修補(bǔ)的自動(dòng)化水平等是需要進(jìn)一步研究的內(nèi)容，研發(fā)標(biāo)準(zhǔn)應(yīng)用程序接口和通用軟件包是提高共享和研發(fā)效率的必然途徑。

VR的逼真性，即虛擬與現(xiàn)實(shí)孿生的相似性測(cè)度是有待研究解決的一個(gè)理論問題。在此基礎(chǔ)上研究各類VR應(yīng)用的效果評(píng)價(jià)，特別是對(duì)人的心理影響，以及對(duì)人類社會(huì)帶來的影響，并進(jìn)行相關(guān)約束與法律研究也是必要的，這會(huì)形成新的人文學(xué)科研究方向。

趙沁平院士：虛擬現(xiàn)實(shí)技術(shù)方向與趨勢(shì)

節(jié)選自科技導(dǎo)報(bào)（ID:STReview)

作者：趙沁平，周彬等

1） VR 硬件

VR硬件包括顯示設(shè)備、力觸覺交互設(shè)備、專用芯片等。

VR顯示設(shè)備直接影響了用戶對(duì)于虛擬環(huán)境的感受。目前主要的VR 顯示設(shè)備有頭盔顯示器、3D立體眼鏡、真三維顯示、全息和環(huán)幕等。頭盔顯示器（head-mounted display，HMD）是VR中最典型的顯示設(shè)備[4]。一般而言，HMD上均安裝有頭部運(yùn)動(dòng)跟蹤裝置。用戶佩戴上HMD 后，在其頭部運(yùn)動(dòng)時(shí)，HMD可以計(jì)算出對(duì)應(yīng)于用戶當(dāng)前姿態(tài)的虛擬對(duì)象的位姿并將其顯示在HMD的屏幕上。HMD 的近期典型代表包括：1）谷歌于2014年6月推出的紙殼式眼鏡Cardboard。這類設(shè)備內(nèi)部沒有計(jì)算平臺(tái)和顯示屏，使用時(shí)可將智能手機(jī)放入鏡片后的托盤中，通過一對(duì)凸透鏡將手機(jī)畫面?zhèn)魉椭岭p眼以提供三維觀看效果，并通過手機(jī)內(nèi)置螺旋儀檢測(cè)頭部轉(zhuǎn)動(dòng)以改變顯示內(nèi)容。此類設(shè)備成本低但效果一般。2）三星和OculusVR 于2014 年9 月聯(lián)手設(shè)計(jì)的Gear VR。該類產(chǎn)品的內(nèi)容輸出和算法平臺(tái)還是智能手機(jī)，但產(chǎn)品本身也內(nèi)置了動(dòng)作傳感器，可以更精確地感知頭部轉(zhuǎn)動(dòng)，因而比VR 眼鏡的沉浸感更強(qiáng)。3）Oculus Rift和HTC Vive等設(shè)備將電腦作為主要的VR 內(nèi)容運(yùn)行和計(jì)算平臺(tái)，可以實(shí)現(xiàn)六自由度的運(yùn)動(dòng)交互，沉浸體驗(yàn)大幅度提升，Sony Project Morpheus 則是以索尼PlayStation 為運(yùn)行和計(jì)算平臺(tái)。4）一體機(jī)頭盔是傳統(tǒng)的VR顯示設(shè)備，集成了顯示、計(jì)算、存儲(chǔ)、交互等所有模塊，其性能高，但體積大，價(jià)格偏高，典型代表是微軟的HoloLens。

VR力觸覺交互設(shè)備能夠使參與者在虛擬環(huán)境中實(shí)現(xiàn)觸覺和力感等視覺、聽覺之外的感覺，目前的研究還處于初級(jí)階段。東京大學(xué)研制出一種能像人類皮膚一樣，感測(cè)出施加在表面上的力的大小和方向的新型傳感器，據(jù)此可以開發(fā)出具有接近人類力覺的機(jī)器人手。2009年芬蘭的Linjama等、2010年美國迪斯尼研究中心的Bau等、2012年NOKIA 實(shí)驗(yàn)室與劍橋大學(xué)等，分別利用靜電力反饋研制出E- Sense、TeslaTouch、ET 等表面觸覺反饋系統(tǒng)，能在觸摸顯示屏幕表面實(shí)現(xiàn)觸覺紋理的再現(xiàn)。2013 年美國西北大學(xué)的Colgate 等研制了便攜觸覺再現(xiàn)終端TPaD Fire，在配備6500 mA·h 的電池情況下可連續(xù)工作超過5 h[5]。

此外，VR芯片平臺(tái)已經(jīng)成為國際著名芯片廠商的搶占熱點(diǎn)。例如，AMD 的圖形芯片部門Radeon Technologies Group 于2015年9月推出虛擬現(xiàn)實(shí)解決方案LiquidVR，它包含數(shù)據(jù)鎖定、異步著色引擎、多GPU異步渲染等新功能，能夠以更低的延遲實(shí)現(xiàn)更優(yōu)質(zhì)的畫面，以提升VR 沉浸體驗(yàn)。NVIDIA于2015年11月發(fā)布了兩款虛擬現(xiàn)實(shí)開發(fā)工具，包括面向游戲開發(fā)人員的Gameworks VR和面向設(shè)計(jì)人員的DesignWorks VR。這些工具可以加快立體渲染性能。高通于2015年12月發(fā)布了首款64 位四核CPU Snapdragon 820，其內(nèi)部集成了新一代GPUAdreno 530，能夠?qū)崟r(shí)呈現(xiàn)立體攝像機(jī)拍攝的高清視頻，可以促進(jìn)頭盔顯示器等VR設(shè)備沉浸感體驗(yàn)的進(jìn)一步提升。

2）  VR 內(nèi)容

VR需要處理的數(shù)字化內(nèi)容類型眾多，按照不同處理階段，可以劃分為獲取、理解、建模、呈現(xiàn)4個(gè)方面。

（1） 獲取

VR內(nèi)容的幾何屬性獲取主要通過光學(xué)和立體視覺的方法。近期典型的光學(xué)方式是TOF（time-of-flight），其原理是依靠主動(dòng)光照射到采集對(duì)象上，按照返回光線的先后順序來測(cè)量對(duì)象的深度信息。該方法采集到的三維數(shù)據(jù)精度低，但是設(shè)備輕便、便宜。立體視差法是被動(dòng)式方法的代表，根據(jù)三角測(cè)量原理，利用對(duì)應(yīng)點(diǎn)的視差可以計(jì)算視野范圍內(nèi)的立體信息。這種方法模擬人的視覺方式，以2部位于不同位置的相機(jī)對(duì)同一目標(biāo)拍攝2幅圖像，得到一組“像對(duì)”。對(duì)于目標(biāo)上的一個(gè)采樣點(diǎn)，根據(jù)它在2幅圖像中的像點(diǎn)和相機(jī)位置，計(jì)算它們的交會(huì)點(diǎn)坐標(biāo)，就是采樣點(diǎn)的空間坐標(biāo)。立體視覺方法在無明顯紋理或者重復(fù)性紋理的場(chǎng)景下，由于很難找到“像對(duì)”，具有較大的技術(shù)難度。

在表面屬性獲取主要通過不同光照和視點(diǎn)條件的圖像獲取物體表面屬性，例如美國麻省理工大學(xué)和哥倫比亞大學(xué)的4D camera。它將場(chǎng)景的光線和物體進(jìn)行分離，這樣捕獲的物體就是一個(gè)“裸物體”，不受捕獲時(shí)的光線影響。目前主要研究難點(diǎn)和熱點(diǎn)在于動(dòng)態(tài)物體或半透明物的表面屬性獲取[6]。

在人體運(yùn)動(dòng)捕捉方面，較為成熟的技術(shù)多基于電動(dòng)機(jī)械、電磁和特殊光學(xué)標(biāo)志等，其中基于標(biāo)志的系統(tǒng)（如ViconMX等）得到了普遍的應(yīng)用，能獲取精確的運(yùn)動(dòng)數(shù)據(jù)，但價(jià)格昂貴。近年來隨著廉價(jià)數(shù)字?jǐn)z像機(jī)、低成本體感傳感器的普及，基于視頻及少量傳感器的無標(biāo)志人體運(yùn)動(dòng)捕捉越來越成為研究熱點(diǎn)。

（2） 分析

圖像視頻在人類所涉及的數(shù)據(jù)信息中所占比例越來越大，如何進(jìn)行圖像視頻的語義分析與利用是重要的前沿問題。目前的研究主要包括視覺認(rèn)知計(jì)算模型、特征的提取與表示、特征的融合與處理、特征與語義的關(guān)聯(lián)等。但是，底層描述與高層語義之間不是簡(jiǎn)單的對(duì)應(yīng)關(guān)系，具有語義的中高層特征至關(guān)重要，“語義鴻溝”依然是當(dāng)前的研究難點(diǎn)。語音分析識(shí)別技術(shù)是讓機(jī)器把語音轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)，而且不同語種之間的語音-語音翻譯將成為研究熱點(diǎn)。在文本語義分析利用方面，分詞、檢索等已經(jīng)達(dá)到可用，翻譯、問答需求大，通用、高質(zhì)量的自然語言處理系統(tǒng)仍然是長(zhǎng)期目標(biāo)。

隨著深度學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、自主學(xué)習(xí)、群智學(xué)習(xí)等方法技術(shù)的發(fā)展，這些技術(shù)往往與人類大腦在結(jié)構(gòu)和機(jī)理等方面具有相似性?；谶@些技術(shù)，近年來對(duì)文本、圖像、視頻、音頻、三維模型等素材的分析與理解取得了較大進(jìn)步，例如無監(jiān)督條件下圖像視頻的語義分割與理解[7]、基于深度學(xué)習(xí)的三維模型部件級(jí)語義分割與理解[8]等，特別是在物體識(shí)別等部分領(lǐng)域已經(jīng)達(dá)到甚至超過了人類的表現(xiàn)。隨著計(jì)算機(jī)對(duì)圖像、音頻、視頻等素材的分析能力的提升，根據(jù)用戶的個(gè)性化需求，自動(dòng)大規(guī)模建模生產(chǎn)在視、聽、力、觸、體、味等方面與真實(shí)世界類似的VR內(nèi)容，已經(jīng)不再是天方夜譚。

（3） 建模

VR內(nèi)容的幾何外形構(gòu)建技術(shù)已較為成熟，數(shù)據(jù)驅(qū)動(dòng)的三維構(gòu)建與生成已經(jīng)成為當(dāng)前的研究熱點(diǎn)，例如特征結(jié)構(gòu)保持的三維模型編輯傳播[9]、圖像數(shù)據(jù)驅(qū)動(dòng)的人體服裝與室內(nèi)三維場(chǎng)景演化生成[10,11]等。光場(chǎng)構(gòu)建在動(dòng)態(tài)環(huán)境和半透明物體等方面仍需要大量的進(jìn)一步研究[12,13]。伴隨著多核CPU 和GPGPU的發(fā)展，基于物理的自動(dòng)化模擬正朝著更大規(guī)模、更多細(xì)節(jié)的實(shí)時(shí)模擬方面發(fā)展，已成為交互式VR技術(shù)的重要研究方向。角色肢體動(dòng)作智能化生成、人臉動(dòng)態(tài)表情識(shí)別與構(gòu)建、虛擬角色智能行為等智能化建模技術(shù)，涉及自動(dòng)控制、人工智能、生物力學(xué)、解剖學(xué)等交叉學(xué)科，得到了國內(nèi)外的廣泛關(guān)注與研究[14]。

目前VR 主要集中在虛擬環(huán)境與對(duì)象的固定拓?fù)鋷缀谓：蛣?dòng)力學(xué)物理建模。如何建立其可變拓?fù)鋷缀文Ｐ秃透鼮槿娴奈锢砟Ｐ?，甚至建立可自我演化、具備一定“生命力”的智能模型，使得VR系統(tǒng)不僅在視覺上有更全面的逼真表達(dá)，而且在功能和環(huán)境/事件的動(dòng)態(tài)演化、活體對(duì)象行為的智能化方面也有較為逼真的體現(xiàn)，是未來VR技術(shù)必須解決的關(guān)鍵問題。此外，現(xiàn)實(shí)世界包含了復(fù)雜、動(dòng)態(tài)、多源、海量的數(shù)據(jù)。如何高效采集這些數(shù)據(jù)并對(duì)其進(jìn)行自動(dòng)化分析、實(shí)時(shí)建模，使VR 系統(tǒng)能真實(shí)表達(dá)瞬息萬變的現(xiàn)實(shí)世界，與現(xiàn)實(shí)世界“同步”發(fā)展，是一個(gè)智能化建模問題，也是未來VR需要解決的另外一個(gè)關(guān)鍵問題。

（4） 呈現(xiàn)

隨著三維信息數(shù)據(jù)量的不斷增加，海量數(shù)據(jù)的逼真實(shí)時(shí)繪制技術(shù)成為重要研究方向，外存模型的組織與處理、并行繪制和GPU計(jì)算等成為研究的關(guān)注點(diǎn)。在普適硬件平臺(tái)上展示超大規(guī)模復(fù)雜場(chǎng)景，特別是對(duì)具有逼真效果的場(chǎng)景、多種內(nèi)容融合等仍是研究難點(diǎn)。

此外，增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）是將計(jì)算機(jī)產(chǎn)生的虛擬對(duì)象融合到用戶所觀察的真實(shí)環(huán)境中，以拓展和增強(qiáng)用戶對(duì)周圍世界的感知能力[15]。與VR相比，AR與真實(shí)世界的聯(lián)系并未切斷，交互方式更加自然。事實(shí)上，將現(xiàn)實(shí)物理世界和虛擬世界實(shí)時(shí)合并混合，形成新的能夠?qū)崟r(shí)互動(dòng)的可視環(huán)境，統(tǒng)稱為混合現(xiàn)實(shí)（mixed reality，MR）。AR是MR一種典型代表。三維跟蹤定位[16]是實(shí)現(xiàn)AR 的主要技術(shù)保證，尤其是高精度、無標(biāo)志物跟蹤定位更是研究中的難點(diǎn)。英國牛津大學(xué)采用SLAM技術(shù)結(jié)合并行運(yùn)算實(shí)現(xiàn)了小范圍未知場(chǎng)景下的實(shí)時(shí)跟蹤定位；劍橋大學(xué)利用慣性傳感器與視覺測(cè)量相融合的技術(shù)實(shí)現(xiàn)了戶外場(chǎng)景（校園范圍）的實(shí)時(shí)無標(biāo)識(shí)跟蹤定位；美國斯坦福大學(xué)利用GPS進(jìn)行初始定位，結(jié)合圖像快速檢索技術(shù)，在手機(jī)上初步實(shí)現(xiàn)了戶外增強(qiáng)現(xiàn)實(shí)導(dǎo)航功能；奧地利Graze University of Technology 用FAST 算子代替SIFT 特征提取算子，同時(shí)改進(jìn)Ferns識(shí)別分類算法中樹簇的大小，在手機(jī)上實(shí)現(xiàn)了10幀/s左右的無標(biāo)識(shí)跟蹤定位。

3） VR 交互

VR交互重點(diǎn)研究符合人類習(xí)慣的交互技術(shù)，以提高人對(duì)復(fù)雜信息的認(rèn)知能力。傳統(tǒng)人機(jī)交互主要通過鼠標(biāo)、鍵盤及操縱桿等設(shè)備實(shí)現(xiàn)。多通道交互方式是以用戶為中心，采用視覺、語音、姿勢(shì)、表情等多通道，實(shí)現(xiàn)高效的人機(jī)交互。

智能語音交互技術(shù)包括語音識(shí)別、語音合成和語義理解。語音識(shí)別技術(shù)將用戶輸入的語音轉(zhuǎn)化為相應(yīng)的文本或命令，語音合成技術(shù)將文本轉(zhuǎn)換成機(jī)器合成的語音，語義理解技術(shù)從語音識(shí)別輸出的文本中獲取語義信息從而理解用戶的意圖。2011 年，微軟研究院通過引入深度神經(jīng)網(wǎng)絡(luò)，使得在特定語料庫上的語音識(shí)別準(zhǔn)確率得到了大幅提高，性能改善30%左右。近年來，基于數(shù)據(jù)庫的語音合成方法成為研究熱點(diǎn)，該方法的語音基元來自一個(gè)預(yù)先錄下的龐大的語音數(shù)據(jù)庫，合成語句的清晰度和自然度均有較大程度提高。

體感交互利用深度相機(jī)等對(duì)用戶手和身體的運(yùn)動(dòng)進(jìn)行跟蹤，完成自然的人機(jī)交互。利用體感交互技術(shù)，人們可以很直接地使用肢體動(dòng)作與周邊裝置或環(huán)境互動(dòng)。2010年索尼推出新一代體感設(shè)備PlayStation Move，該設(shè)備不僅會(huì)辨識(shí)上下左右的動(dòng)作，還會(huì)感應(yīng)手腕的角度變化，無論是運(yùn)動(dòng)般的快速活動(dòng)還是用筆繪畫般纖細(xì)的動(dòng)作都能重現(xiàn)。同年，微軟也發(fā)表了全新體感設(shè)備Kinect，該設(shè)備同時(shí)使用激光和可見光攝像頭來獲取人體影像信息，捕捉人體3D全身影像，不受任何燈光環(huán)境限制，無需使用任何體感手柄，便可達(dá)到體感的效果[17]。2014年5月，美國Leap公司推出了一套體感運(yùn)動(dòng)控制系統(tǒng)Leap Motion，該系統(tǒng)可以追蹤多個(gè)物體并識(shí)別手勢(shì)，能夠追蹤到幾毫米范圍的動(dòng)作，例如用戶寫字或畫畫等精準(zhǔn)動(dòng)作。

腦機(jī)接口技術(shù)的主要研究途徑是通過在人腦（或動(dòng)物腦）與外部設(shè)備間建立直接連接通道，使人直接通過腦來表達(dá)想法或操縱設(shè)備。腦機(jī)接口系統(tǒng)一般包括信號(hào)采集與記錄、數(shù)據(jù)處理、外設(shè)與接口等部分。其中，信號(hào)采集與記錄部分利用電極采集使用者的腦電信號(hào)，并對(duì)信號(hào)進(jìn)行放大和濾波；數(shù)據(jù)處理部分利用特征提取、特征選擇分類等，對(duì)腦電信號(hào)進(jìn)行分類識(shí)別；外設(shè)與接口部分通過控制接口將邏輯控制信號(hào)轉(zhuǎn)換成語義控制信號(hào)，通過設(shè)備控制器將語義控制信號(hào)轉(zhuǎn)換成設(shè)備控制信號(hào)，通過顯示裝置產(chǎn)生執(zhí)行思維任務(wù)的指示。目前絕大部分腦機(jī)接口研究仍處于實(shí)驗(yàn)室研究階段，還有許多需要解決的問題。

眼動(dòng)跟蹤技術(shù)主要用于測(cè)量用戶注視點(diǎn)或視線方向，可以作為一種替代鼠標(biāo)和鍵盤的新型交互方式，例如Dasher 眼控打字系統(tǒng)等。2013 年初，韓國三星公司推出了基于這種思想的新型Galaxy S4智能手機(jī)，新增基于眼凝視追蹤功能的眼控滾動(dòng)功能，主要應(yīng)用于網(wǎng)頁瀏覽和電子書閱讀等。

 新一代VR在建模與繪制方法、交互方式和系統(tǒng)構(gòu)建方法等方面都提出了更高的需求。為了滿足這些需求，近年來VR研究也取得了快速發(fā)展，表現(xiàn)出了一些新的特點(diǎn)和發(fā)展趨勢(shì)。有關(guān)學(xué)者對(duì)這些特點(diǎn)進(jìn)行總結(jié)，歸納為以下7個(gè)方面。

1）人機(jī)交互的適人化。構(gòu)建適人化的和諧虛擬環(huán)境是VR的目標(biāo)。實(shí)際上，頭盔等設(shè)備雖然能夠增強(qiáng)沉浸感，但在實(shí)際應(yīng)用中效果并不好，并未達(dá)到沉浸交互的目的。采用人最為自然的視覺、聽覺、觸覺、自然語言等作為交互方式，會(huì)很好地提高VR的交互性。

2）計(jì)算平臺(tái)的普適化。隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算已經(jīng)無處不在，計(jì)算平臺(tái)也發(fā)展為多種類型，從高端的大型機(jī)、桌面PC，發(fā)展到低端的各種手持式計(jì)算設(shè)備。在VR系統(tǒng)中加入這類設(shè)備并結(jié)合無線網(wǎng)絡(luò)，能較好地滿足實(shí)際使用中便攜和移動(dòng)的要求。

3）虛實(shí)場(chǎng)景的融合化。VR將現(xiàn)實(shí)環(huán)境的要素進(jìn)行抽象，通過逼真繪制方法進(jìn)行表現(xiàn)，但畢竟無法完全還原真實(shí)世界，因此將真實(shí)世界與虛擬世界有效融合具有研究和實(shí)際意義，AR就是這樣一種技術(shù)。AR作為VR 的一個(gè)重要分支，不僅繼承了VR的特點(diǎn)，而且其對(duì)真實(shí)場(chǎng)景的增強(qiáng)效果，在某些應(yīng)用領(lǐng)域逐漸顯示出比VR更明顯的優(yōu)勢(shì)。

4） 場(chǎng)景數(shù)據(jù)的規(guī)模化。數(shù)據(jù)的規(guī)模化是大型VR應(yīng)用的顯著特點(diǎn)。通常而言，VR系統(tǒng)數(shù)據(jù)的規(guī)模化包括兩方面的含義，一方面是分布式VR 系統(tǒng)中節(jié)點(diǎn)和實(shí)體數(shù)量的規(guī)?；?，另一方面是建模與繪制過程中場(chǎng)景幾何數(shù)據(jù)的規(guī)模化。規(guī)?；臄?shù)據(jù)即使在高端計(jì)算平臺(tái)上也是需要研究的問題，而且智能化分析與處理也日益成為關(guān)注的問題。

5）環(huán)境信息的綜合化。傳統(tǒng)的VR 系統(tǒng)對(duì)自然環(huán)境的建模往往僅考慮地形幾何數(shù)據(jù)，對(duì)大氣、電磁等環(huán)境信息采用簡(jiǎn)化方式處理。為了更真實(shí)表現(xiàn)環(huán)境效果，需要考慮不同類型的數(shù)據(jù)，如地理、大氣、海洋、空間電磁、生化等，并用不同的表現(xiàn)方式進(jìn)行表現(xiàn)。

6）傳輸協(xié)議的標(biāo)準(zhǔn)化。在構(gòu)建分布式VR系統(tǒng)的過程中，網(wǎng)絡(luò)協(xié)議是研究與應(yīng)用的一項(xiàng)重要內(nèi)容。已有的對(duì)應(yīng)國際標(biāo)準(zhǔn)均是基于專用的網(wǎng)絡(luò)環(huán)境，所制定的傳輸協(xié)議也都是基于專用網(wǎng)絡(luò)環(huán)境和資源預(yù)先分配這兩大前提。隨著在Internet上VR應(yīng)用的開展，基于公網(wǎng)的標(biāo)準(zhǔn)化工作將得到更深入的研究和普及。

7） 領(lǐng)域模型的集成化。分布式VR 系統(tǒng)中各節(jié)點(diǎn)的軟件需要根據(jù)具體的應(yīng)用需求來研制，軟件開發(fā)與維護(hù)工作量大。隨著虛擬樣機(jī)、體系模擬等的發(fā)展，需要快速根據(jù)應(yīng)用的變化對(duì)各個(gè)分系統(tǒng)進(jìn)行定制。因此，需要研究VR 系統(tǒng)的節(jié)點(diǎn)軟件設(shè)計(jì)開發(fā)技術(shù)，使之能夠滿足快速適應(yīng)應(yīng)用的需要，同時(shí)減少開發(fā)與維護(hù)的工作量。