擴展現實

出自 MBA智库百科(https://wiki.mbalib.com/)

擴展現實（Extended Reality），又稱XR技術

　　擴展現實是指通過電腦技術和可穿戴設備產生的一個真實與虛擬結合、可人機交互的環境。擴展現實技術可以看作一種涵蓋性術語，包含了虛擬現實VR、增強現實AR、混合現實MR及其他因技術進步而可能出現的新型沉浸式技術。英文為“Extended Reality"或者“Cross Reality”，常見的縮寫簡稱為"XR”或"ER”等。

　　XR是隨著電腦圖形與模擬技術的不斷發展而產生，沉浸式技術就是其發展的基石。首先誕生的是虛擬現實技術VR，隨著VR的發展又衍生出增強現實AR、混合現實MR等。區別於傳統的超文本、平面圖像等二維媒介及傳統3D圖像/視頻，沉浸式技術依托跨媒介、非結構化的視、聽、觸等多感官刺激途徑，進一步解放人的感性思維，激發創造性思維。而在技術深度融合的大背景下，更具包容性的擴展現實橫空出世，將VR、AR、MR等諸多人們所熟悉的沉浸式交互技術融合在一起，以實現虛擬世界與現實世界之間的無縫轉換。

　　從哲學角度講，擴展現實是創造人類“虛實融合”的新世界模式，尤其強調在拓展現實中人類的自由意志活動。XR作為沉浸式虛擬與現實融合技術總稱，從中演繹出VR（虛擬現實）、AR（增強現實）、MR（混合現實）等不同的技術分支。VR能讓人完全沉浸在虛擬環境中；AR能創建一個疊加虛擬內容的世界，但不能與真實環境交互；MR則是虛擬與現實的混合體，它能創造出可以與真實環境交互的虛擬物體。

　　1.虛擬現實VR

　　以聲音和視覺為主導，通過電腦模擬虛擬環境而給人以環境沉浸感，是一種多源信息融合的、互動式的、三維動態實景和實體行為的系統模擬。在此模擬系統中，用戶必須頭戴VR眼鏡或者VR頭顯才能獲得一個模擬世界360度視圖。

　　2.增強現實AR

　　是一種實時根據現實世界的位置和角度，並加上相應的虛擬圖像、三維物體的技術，說簡單點就是在真實空間里疊加虛擬物體，把虛擬信息，如物體、圖片、視頻、聲音等映射在現實環境中。

　　3.混合現實MR

　　是對VR和AR的進一步發展，指的是現實世界數字化，並與虛擬世界融合所產生的新世界，虛擬物體和現實世界的對象共存並且可以實時交互。

　　XR技術框架包括終端、網路、平臺和應用四部分組成，其中終端側，主要通過內置各種感測器、攝像頭、顯示屏等元器件，實現本地化的XR應用顯示、位置追蹤與定位、多種操控方式及本地化運行的邏輯運算和圖形渲染等；網路側為平臺和終端構建暢通的傳輸通道，主要實現XR低時延交互、全景視頻等應用內容大帶寬下發等；平臺側，按照是否實現XR應用上雲作為依據，分為通用功能和雲化功能兩類；應用側，採用XR應用開發框架，並結合通用的圖形開發引擎，完成XR應用的研發。

　　（1）終端：

　　作為XR服務的用戶端設備入口，主要實現XR服務的顯示、定位與追蹤、操控等功能以及本地化的邏輯運算、圖形渲染等功能。

　　①高清顯示：採用全景拼接/FOV裁剪等畫面顯示技術，雙目渲染/註視點渲染/增強渲染等圖形渲染及光場顯示等技術，實現高清顯示功能。

　　②位置追蹤與定位：主要通過內置終端的磁力儀、加速度計、陀螺儀、深度攝像頭等，實現針對當前位置和周邊環境或虛擬空間物體之間相對關係的確定。技術實現方式包括激光定位、紅外光學和可見光定位等。

　　③擬人式操控：包括鍵鼠操控、遙控器操控、語音識別、手勢識別和腦波識別等多種操控技術。

　　④本地運行相關功能：在XR服務本地化運行模式下，需要在終端實現XR應用導入、邏輯處理和圖形渲染輸出等功能。

　　（2）網路：

　　為了滿足XR超低時延交互，需要提供低時延的傳輸保障；為了滿足XR全景畫面等傳輸需求，需要提供大通道的網路傳輸機制。同時包括為了實現精緻的XR內容和降低網路傳輸壓力，所採用的創新邊緣計算部署等。

　　（3）平臺：

　　從服務角度，提供XR的用戶管理、應用管理、終端管理、運維管理等運營服務，應用部署、渠道分發等營銷服務及支付計費、內容接入、終端適配等能力服務。XR雲化模式，還需提供雲化移植、雲端運行、圖形渲染等雲端XR功能。

　　（4）應用：

　　主要是指各種XR應用的內容研發，包括XR專屬的開發框架及通用的圖形開發引擎等，通過二者的結合，實現各種XR應用的邏輯編程、圖形渲染和定位操控等開發工作。

　　XR還是以終端運行為主，因此XR終端測的處理技術尤為重要，本章將聚焦XR相關終端的關鍵技術。XR終端以三維高清顯示技術，構建沉浸式的視覺體驗；以精準追蹤定位技術，構建擬人式的操作體驗；以精準識別技術，構建現實與虛擬之間無縫銜接的橋梁。

　　XR中的顯示技術要服務於XR顯示的結果，即具有真實世界的色彩、情景化的感官體驗。顯示效果直接決定了用戶的體驗，包括全景拼接、FOV、全息投影、3D立體技術等關鍵技術。

　　全景拼接技術

　　全景拼接技術，通過相機的平移或者旋轉拍攝的一組和多組具有部分重合的照片拼接成一個360度的全景平面圖像，然後通過電腦技術實現全方位互動式觀看真實場景的技術。目前，全景圖像可分為柱面、立方體、球面等形式。

　　FOV技術

　　FOV（Field Of View），指視場角。根據應用場景不同，其定義也不盡相同。在光學儀器中，是指以被測目標的物像通過鏡頭的最大範圍的兩條邊緣構成的夾角，FOV的大小決定了光學儀器的視野範圍。根據顯示效果不同，VR的核心在於全景顯示，根據VR設備的不同，VR全景顯示對FOV的要求也不同。

　　無論是VR設備還是AR設備，FOV技術都是支撐其達到完美效果顯示的不可或缺的技術，不同之處在於VR一體機頭顯需要大於120度的視場角；VR移動設備需要與之尺寸匹配的視場角；而AR講究增大視場角的同時，需保證AR設備能夠全天舒適佩戴。

　　全息投影技術

　　全息投影技術（front-projected holographic display）是一種基於光的干涉和衍射原理，並利用投影設備將不同角度的影響內容投影拼接至全息圖上，以此還原物體真實三維圖像的技術，呈現出的三維立體圖形為XR環境提供具有視覺感知性功能。因為在原始光場中，由於原始物體的缺失不復存在時，相片是無法直接保存到相位信息，通過引入參考光波與物光波產生干涉，把相位信息保存在條紋中；用參考光波照射全息圖，就可以再現（衍射）出物光波。

　　全息投影技術包括拍攝和成像兩步驟。全息投影技術是使用一種激光光源來記錄圖像，並組成各種排列方式，常見的排列方式是激光束被分成兩束，一束被稱為目標光束，另一束被稱為參考光束。拍攝過程是利用光的干涉原理，將目標光束照射被攝物體，以形成滿射式的物光束。參考光束照射到全息投影膠片上與物光束疊加產生干涉信息，利用干涉條紋間的反差和間隔將物體光波各點的相位信息、振幅信息和光強信息記錄下來。記錄著干涉條紋的底片經過顯影、定影等處理程式後，便成為一張全息圖度。

　　由於XR是模擬、修改現實，所以需要準確地追蹤對象是如何在現實中移動，並映射在XR環境中，產生相應的效果。實現XR場景里的空間定位以及更多的人機交互，精度高、延遲低的追蹤定位技術是目前的主流。目其主要技術流派包括：外向內追蹤OutSide-in和內向外追蹤Inside-out。

　　外向內追蹤技術（OutSide-in Tracking）

　　外向追蹤技術，是依靠外接各種定位設備（如基站、信標、追蹤塔或攝像頭）的追蹤定位方式。outside-in具有高定位精度和低延遲等特點，是目前XR追蹤定位技術的主流，但因其固定的外接設備，限制了可移動範圍，XR沉浸感也被限制。目前outside-in定位技術又可分為北斗定位技術、光學定位技術、WiFi定位技術、低功耗藍牙定位技術和超聲波定位技術等。

　　內向外追蹤技術（Inside-out Tracking）

　　相比outside-in技術，inside-out定位技術是不用依賴於外部硬體，而是通過內置環境感知攝像頭、深度攝像頭和感測器的頭戴式設備實時拍攝外部圖像，讀取環境深度信息，從而獲取位置數據。簡便安裝、無可移動範圍限制、移動性增加和更高自由度的Inside-out定位技術更符合未來XR追蹤定位技術的要求，但是也存在定位精度不高，有一定延遲等缺點。也因為不依賴於外接設備進行運算，而對頭戴式設備的要求更高。雖然存在以上缺陷，但是由內向外的追蹤定位技術正逐步取代由外向內的技術，成為目前XR追蹤定位所研究的核心方向。

　　人與虛擬環境的互動是XR中很重要的一部分，即人體動作的融入、虛擬環境對人體的動作產生聲覺、視覺、光覺的反饋作用。所以交互的前提是精準實現到對人體各種狀態的識別以及對真實物體的識別。對人體狀態的識別技術目前有兩種方式，一種是基於硬體的識別方式，如佩戴數據手套，第二種是基於電腦視覺技術的識別方式。

　　基於硬體的識別方式

　　基於硬體的識別方式，將集成感測器的可穿戴姿勢輸入設備與用戶肢体連接，從而獲取用戶的肢体運動信息。目前基於硬體的識別大多數採用的是數據手套，數據手套是指在手套內集成彎曲感測器，採集手部運動數據的硬體設備。數據手套實現採集現實中手部姿勢的關鍵在於通過覆蓋手部所有關鍵位置的感測器和手部各關節運動自提的對應關係，對人體手部姿勢的建模。數據手套基於真實還原人體手部自然的動作，同時由於感測器的抗遮擋性和抗干擾性高，動作識別精度高。但操作者需要穿戴繁瑣的設備，這種方式限制了用戶和設備的自然交流，且設備的價格昂貴，難以推廣使用。

　　基於電腦視覺技術的識別方式

　　基於電腦視覺的識別方式是利用攝像頭捕捉用戶的手勢，並傳輸到電腦，電腦對手勢信息進行分析處理。而對真實物體的識別大多數採用電腦視覺技術，該方法具有方便、直觀、成本低等優勢，因此應用於XR領域中。基於電腦視覺技術的識別流程，藉助攝像頭將用戶姿態或真實物體轉換成圖像信息，然後利用電腦視覺技術進行圖像分析、建模和識別，最終向XR應用提供處理識別後的信息，如手勢、姿態、物體信息、物體位姿信息等。

　　基於電腦視覺技術的識別主要步驟：

　　（1）圖像預處理：將攝像機拍攝獲取到的包含人體姿態或物體信息的視頻資源分割成許多靜態的圖片，方便電腦對內容的分析和提取。隨後處理靜態圖片中的冗餘信息，並利用平滑、濾波等手段對圖像進行處理。

　　（2）圖像分析：對處理好的圖像進行分析建模，結合數學模型和圖像處理技術分析底層特征和上層結構，用以獲取具有一定智能性的信息。

　　（3）圖像識別：對處理好的圖像特征進行提出和分析，並利用不同的演算法進行計算，同時將計算後的信息與系統設定的圖像信息進行對比，從而完成圖像的識別。