視覺可以說是人類最重要的感官體驗之一，人類大腦幾乎一半的記憶體都用於視覺影像處理。正因視覺體驗的重要性，科技巨頭紛紛布局擴增實境(AR)/虛擬實境(VR)，隨著巨頭的加入，元宇宙概念引爆了整個市場。廠商以擴增實境為切入點，將其視作下一代硬體設備的人機介面(HMI)的關鍵技術。隨著科技發展，無螢幕時代必將到來，AR/VR技術將取代電腦螢幕，而AR/VR眼鏡設備將取代智慧手機。然而，電子元件(大腦)和光學元件(眼睛)仍然面臨著許多技術障礙，這篇文章將從光學和智慧成像系統角度解析AR/VR科技。
成像系統小型化
在太空探索、工業5.0機器視覺、資訊娛樂、駕駛輔助、電腦和智慧手機等各類應用中，成像系統主要用於觀測、影像擷取或影像顯示等功能。成像系統一般由一個相機帶著鏡頭與顯示器所組成，它可以是獨立單元，也可以是模組化元件的組裝。
目前，沒有人能夠準確預測人機界面的未來形態，但要實現邊緣運算的無縫連接(非雲端連接)還面臨著巨大挑戰。沉浸式虛擬實境生活環境是美好的願景，但處理周圍環境的大量資訊疊加是擴增實境系統面臨的極大挑戰。此外，AR/VR產品還存在價格、整體性能(影像品質、功耗)和人體工學方面的諸多限制。但終有一日，AR/VR系統將能夠像隱形眼鏡一樣輕巧、無縫、高效、佩戴舒適，且不會導致注意力分散的問題，反而可以藉由給視野中的目標位置提供客製化資訊而提高人們注意力。
正如同人類大腦和眼睛是人體兩個主要器官一樣，運算晶片和成像系統也是未來AR/VR人機界面的核心。在遵循摩爾定律的基礎上，半導體生態系統幾十年來為運算晶片的小型化付出了巨大努力，也因此現在實用的智慧手機的運算能力可以堪比20世紀70年代的超級電腦，目前光電界正致力於使AR/VR智慧成像系統走向小型化和數位化。
目前花1美元就可以買到一組8個自由曲面塑膠透鏡，總共尺寸不到千分之一英寸。這組複雜的透鏡在最佳化一千多個參數後才得以設計完成。緊隨透鏡組之後的CMOS影像感測器和電腦視覺晶片也已縮小並改良到能夠讓目前的智慧手機配有至少4個相機，所拍攝的影像比起20年前第一台擁有超過一百萬像素卻龐大且鏡頭複雜的數位相機還要更好。
同樣，顯示器也越來越小型化，下一代AR設備可能不僅僅是佩戴的眼鏡，更有可能放入人們的眼睛中。一些公司正在開發可安裝在隱形眼鏡上的微小系統，即隱形AR眼鏡。這款仿生眼的顯示器比一顆沙粒還小，它將光線發射到眼睛最敏感的部位，即光受體數量和密度最高的中央凹。下一代版本將包括處理器、眼球追蹤感測器和通訊晶片，用一塊小電池便可以為整個設備供電。
成像系統數位化
與幾十年前的電子元件類似，今日的光學元件主要是類比技術。光學系統由複雜的大塊表面、多層薄膜或連續形狀組成。這種傳統方法的替代方案直到最近才出現。隨著平面光學元件的出現，奈米結構元件(尺寸小於一個波長)應運而生，能夠重複實現聚焦、濾色和反射等光學功能。該項技術的主要優勢在於其小尺寸、多功能性以及與半導體製程的相容性，為光學元件和電子元件之間的整合帶來了新的可能性。要使該項技術走向成熟，需要克服許多障礙。材料和半導體製程領域的領導者正利用其專業知識，推動平面光學元件進入各類規模市場。
每個光學元件都將從類比技術轉換為數位技術。全數位化成像系統將以更靈活、更具體的方式收集或顯示影像。中央凹相機或顯示器有效地證明了如何以更客製化、更高效的方式使用像素成像系統，將詳細的視覺資訊精確地帶到資訊處理單元，並同時降低其他區域的解析度。從某種意義上說，數位成像系統是模仿人類眼睛功能。
成像系統智慧化
人類大腦幾乎一半的記憶體都用於視覺影像處理，同樣，成像系統必須實現智慧化，這意謂著光學元件和電子元件必須共同設計、共同最佳化，甚至可能共同製造。而AR/VR系統的設計必須考量良好的成像品質，因此廠商如新思科技光學解決方案提供成像系統設計軟體CODE V、光子元件設計軟體RSoft與照明設計軟體LightTools進行AR/VR系統設計和開發，可於加工前完成完整的成像設計、繞射結構設計與系統影像模擬，加速產品的開發。
成像系統由收集光線的感測器、將原始感測器訊號傳輸至處理單元的轉換器，以及對數位訊號進行後處理以做出決策的電腦視覺單元組成。每個元件由不同的團隊分別設計，並採用不同的技術製造。
近感測器運算或感測器內運算將成為主流運算方式，有助於實現更具創新性的成像系統，降低能耗，實現低延遲和更高的安全性。例如，CMOS影像感測器可以由一個平面系統晶片組成，該晶片整合光電二極體陣列、脈衝調變電路和一個簡單的ADC轉換器，使前端處理單元靠近或進入感測器層。其他方式包括將光學元件、感測器和演算法進行聯合最佳化，然後相互配合使用以解決某一特定的成像問題：不單只是拍照，還需要辨識物體並作出決策，比如監視器攝影機與眼球追蹤攝影機的差別。智慧化顯示引擎經充分最佳化後，使用者甚至不需要建構中間影像來呈現真正沉浸式的內容。
下一代成像系統有望推動AR/VR技術的發展，進而取代個人電腦和智慧手機，創造無螢幕時代。面對這樣的機遇，光學行業以及促進智慧成像系統設計的生態系統，將持續探索無限可能，助力未來成像技術。
(本文作者任職於新思科技，原文來自新思科技部落格)