訂閱電子報∣ 友善列印字體大小 文章分享-Facebook 文章分享-Plurk 文章分享-Twitter
ToF未來最有潛力的應用在AR領域
獲取產業訊息零時差!立即訂閱電電公會電子報。

目前手機是ToF在消費電子中的主要應用領域,隨著市場對3D視覺與識別技術的興趣日益濃厚,頭部終端廠商推動TOF技術在3D感知和成像方向上不斷拓展,我們看到ToF技術在智慧手機端加速滲透,ToF的使用進一步豐富著3D sensing的應用場景。伴隨AR/VR的發展,ToF有望成為智慧手機攝像頭的下一個風口。

ToF助力消費級AR普及。ToF技術的應用亦是AR、VR時代的催化劑。考慮到ToF的兩個獨特的優點——作用距離長、刷新率高,存在遠距離3D測距需求的AR/VR是最能體現ToF優勢的功能之一。3D攝像頭技術提供的手勢識別功能將成為未來AR/VR領域的核心交互手段。目前各大廠商推出的VR設備大都需要控制器,遊戲控制器的優勢在於控制回饋及時、組合狀態多。

根據Markets and Markets,2019年全球AR市場規模達到107億美元,預計到2024年將達到727億美元,複合增長率達46.6%。過去幾年中,以Facebook、英特爾、高通和三星為代表的公司在AR領域進行了大量投資,推動了全球AR市場的快速增長。中國AR市場規模預計在2024年將達到約59億美元,從下游應用來看,工業應用占比最大,約占42%,其次是汽車(18%),零售(15%)以及航空與國防(10%)等。

AR室內設計。2020款iPad Pro使用了dToF LiDAR技術,通過這一技術可以獲得3D空間的深度資訊,建立詳細的室內環境空間資料,類比出擺放了新傢俱後的情況。宜家的IKEA Place應用,利用AR讓家居產品的外觀和在家中的擺放效果直接呈現在用戶眼前。

醫療學習。Complete Anatomy是一款教醫學院學生通過虛擬技術瞭解心臟、即時肌肉運動、神經系統等人體結構的軟體,在2020款iPad Pro上可以使用這一軟體,它將説明專業人士更準確的評估病人的身體運動情況,為未來醫學發展帶來更多可能性。

3D攝像頭技術提供的手勢識別功能將成為未來AR/VR領域的核心交互手段。目前各大廠商推出的VR設備大都需要控制器,遊戲控制器的優勢在於控制回饋及時、組合狀態多。以HoloLens為例,就擁有一組四個環境感知攝像頭和一個深度攝像頭,環境感知攝像頭用於人腦追蹤,深度攝像頭用於輔助手勢識別並進行環境的三維重構。

拍照虛化。ToF具備更好的景深資訊採集功能,加入智慧手機後攝模組後,能夠實現快速、遠距離獲取更高精度的深度圖(depth map),從而完成較結構光範圍更大的3D建模,而且由於自帶紅外光源,其在暗光環境下獲得的景深資訊同樣準確。因此,有ToF攝像頭參與的成像在虛化效果上會更加真實,富有層次。華為2019年發佈的旗艦機P30Pro在後臵3D成像與感知模組中加入ToF鏡頭輔助,ToF鏡頭獲取的更多景深資訊加強背景虛化功能,相比雙目視覺更加精准,使得得到的圖像虛化邊緣更加清晰、更具表現力。

手勢識別。目前不少手機具備的懸浮手勢識別功能,不用直接接觸手機螢幕,僅借由前臵ToF的對手勢的3D感知,通過如在手機前揮揮手這樣簡單的操作來實現翻頁、滾屏等普通操作。體感遊戲相比前者更具交互性,通過ToF技術能夠採集到被拍攝人的身體深度資訊,捕捉和採集身體的動作,進行手勢判定,控制預製的3D建模人偶的形象和動作,實現真人和3D虛擬形象跟隨,用身體、動作和手勢做遊戲交互。

ToF技術的應用是AR、VR時代的催化劑。考慮到ToF的兩個獨特的優點——作用距離長、刷新率高,存在遠距離3D測距需求的AR/VR是最能體現 ToF優勢的功能之一。3D攝像頭技術提供的手勢識別功能將成為未來AR/VR領域的核心交互手段。

dToF技術的應用有望推動AR內容的完善,加速消費級AR普及。蘋果2017年便針對開發者們發佈了用於iOS設備上AR應用開發的ARKit開發工具,2020年發佈的iPad Pro為消費電子設備首次搭載dToF模組,可視為蘋果針對5G時代AR領域的進一步佈局。

iPad Pro搭載的LiDAR(雷射雷達掃描器),採用Sony 3萬圖元10μm dToF圖像感測器,SPAD陣列的探測器,並集成了Lumentum的VCSEL晶片和TI的VCSEL驅動晶片,能達到ps級時間解析度,可實現5米範圍內的3D感知與成像,具備更快的AR建模速度、更高的測量精度和更少的抖動、錯位。

Sony的dToF方案首次採用3D堆疊工藝,圖元內連接通過混合鍵合互連技術將探測器晶圓和邏輯電路晶圓鍵合實現,同時,深溝槽隔離(Deep trench isolat ion)也被應用,充滿金屬的溝槽完全隔離了圖元。從而有效控制了dToF 感測器的尺寸,使其成功的應用在iPad 這類小型消費電子設備中。

目前iPad Pro的LiDAR共呈現出三種典型場景的應用。AR測量、AR遊戲和AR裝修設計。

AR測量:LiDAR可以快速計算人的身高,並展現垂直和邊緣引導線。通過開發者開發的app可實現對物體尺寸、建築物更精細的測量。
AR遊戲:LiDAR通過對周圍真實環境的掃描和快速獲得深度資訊能力,為AR遊戲開闢了更廣闊的設計空間。如官網展示的《熾熱熔岩 (Hot Lava)》電子遊戲,可以把客廳變成一個虛擬的熔岩環境,遊戲中的玩家可以跳到傢俱上以此來避開模擬中的地板熔岩。

iPad Pro上市後帶動開發者不斷豐富iOS平臺上AR遊戲內容,也使一些原有的AR遊戲因為玩法升級而更具有生命力。

AR裝修:iOS上的Shapr3D app,借助LiDAR對房間進行掃描創建3D模型,使用者可以對該模型展開編輯或添加新物件,使用AR可以查看實際房間在編輯後的虛擬效果,幫助用戶在裝修動工前更真切體驗設計效果。宜家Place應用同樣可以通過掃描一個房間獲得與之匹配的傢俱推薦,然後使用AR 查看傢俱擺放效果。

dToF在iPad Pro上的應用,可以視為蘋果打通AR生態硬體基礎的第一步。未來蘋果通過技術改進和突破,有望將dToF引入手機端以及更多地AR設備,促進AR 硬體設備的發展同時,也激發設計師基於dToF的特性開發如建築、教育、醫療等更多場景的AR內容應用,推動AR應用生態持續完善。

華為河圖(Cyberverse)定義地球級XR 應用(包括VR、AR、MR等擴展現實技術),將AR應用拓展到更廣闊的數位世界。華為河圖(Cyberverse)被定義用來提供地球級的虛擬實境融合服務的數位平臺,華為AR地圖是其推出的第一個商業產品,主要功能包括AR實景導航、全息資訊展示、虛實融合拍照及其他虛擬活動等。全場景空間計算能力是河圖的核心,這一能力所需的宏觀地圖可以使用衛星定位,而室內及一些微觀場所的建模定位則依賴智慧手機的3D Sensing來完成。目前華為P40系列機型已經能夠支援華為AR地圖。

訂閱電子報 友善列印 字體大小:
獲取產業訊息零時差!立即訂閱電電公會電子報。