來源:映維網(wǎng) 作者 黃顏
移動AR已經(jīng)成為一個熱點話題。當(dāng)看到與微軟的HoloLens,Magic Leap的Creator Edition或DAQRI的Smart Glasses相關(guān)的熱門文章時,你會有一種AR似乎終于準(zhǔn)備好走進(jìn)大眾市場的感覺。但是,所述設(shè)備依然存在諸多缺陷,而今天尤為明顯的一個是顯示器。
近來熱門的媒體出現(xiàn)了各種推測和“功能建議”,大家似乎普遍認(rèn)為當(dāng)前的AR顯示器十分優(yōu)秀,而盡管視場依然過小,但很快就能達(dá)到優(yōu)秀的水平。諸如波導(dǎo)設(shè)計商DigiLens等顯示器廠商同樣加入了這輪視場喧囂之中,并于最近宣稱他們的AR顯示器很快就能達(dá)到150度的視場。
在本文中,DAQRI首席技術(shù)官Daniel Wagner、DAQRI首席光學(xué)設(shè)計工程師Louahab Noui和DAQRI研究總監(jiān)Adrian Stannard將嘗試解釋視場為什么不太可能在短期內(nèi)實現(xiàn)大幅擴展。本文另一個更為重要的目標(biāo)是,說明視場只是對AR顯示器重要的大約24個參數(shù)中的一個。其他參數(shù)的重要性不弱于FOV,同時尚未得到解決或可以獨立解決。實際上,目前大多數(shù)AR顯示技術(shù)早已存在于軍事或工業(yè)場景,而最近的進(jìn)展更多是降低了相關(guān)的成本,全新的突破較少。下面是映維網(wǎng)的具體整理:
1. AR顯示器的種類
目前主要有兩種AR顯示技術(shù):光學(xué)透視和視頻透視。行業(yè)在過去已經(jīng)探索過這兩種選擇,但由于后者的局限性十分顯著,目前幾乎所有商用AR設(shè)備都采用光學(xué)透視顯示器。
1.1 光學(xué)透視顯示器
光學(xué)透視顯示器允許用戶“直接”(通過一組光學(xué)元件)感知現(xiàn)實世界。這種AR顯示器是通過為來自現(xiàn)實世界的光線添加額外光線來呈現(xiàn)虛擬內(nèi)容。由于這是一種添加操作,所以不可能顯示黑色或令現(xiàn)實世界變暗。所以,今天的無源光學(xué)系統(tǒng)無法顯示黑色虛擬內(nèi)容或繪制陰影。確實有實驗設(shè)備能夠以每像素級別阻止入射光,但它們遠(yuǎn)離實際應(yīng)用尚有十分遙遠(yuǎn)的距離,所以本文不作考慮。
今天主要存在兩種主要類型的光學(xué)透視顯示器:波導(dǎo)和自由空間系統(tǒng)(組合器)。就目前而言,波導(dǎo)(見下圖)顯然在高端領(lǐng)域占據(jù)主導(dǎo)地位,而且上述提到的所述設(shè)備都是基于波導(dǎo):投影儀在波導(dǎo)的一個位置(內(nèi)耦合)插入圖像。由于全內(nèi)反射(Total Internal Reflection;TIR),它將在波導(dǎo)內(nèi)反彈(就如同在光纖電纜之中),然后在另一個位置(外耦合)朝向眼睛出射。波導(dǎo)十分受歡迎,因為它們能夠?qū)崿F(xiàn)簡練的平面設(shè)計,但會帶來一系列的(圖像質(zhì)量)問題。
左邊是基于波導(dǎo)的光學(xué)透視顯示器;右邊是基于自由空間系統(tǒng)的光學(xué)透視顯示器
當(dāng)今最流行的波導(dǎo)替代方案是自由空間系統(tǒng)。由于采用自由形式元件,其設(shè)計過于復(fù)雜,但從光學(xué)角度來看比波導(dǎo)簡單很多,所以可以產(chǎn)生更高的圖像質(zhì)量。另外,一旦完全原型化,它們的生產(chǎn)成本將遠(yuǎn)低于波導(dǎo)。對基于自由空間系統(tǒng)的顯示器而言,一個常見的誤解似乎是它們通常必須很大才能實現(xiàn)大視場(如Meta2)。
波導(dǎo)的光學(xué)效率低,所以需要強大的投影儀。目前的實現(xiàn)方式是將作為光源的LED和作為圖像調(diào)制器的LCOS組合起來。自由空間系統(tǒng)通常足以應(yīng)用OLED,后者具有自發(fā)光的特性,可實現(xiàn)更小的投影儀設(shè)計。
1.2 視頻透視顯示器
對于視頻透視顯示器,一對攝像頭將記錄真實世界視圖,然后再通過不透明顯示器進(jìn)行顯示,如OLED或LCD。虛擬內(nèi)容是通過常見的視頻混合技術(shù)進(jìn)行添加,這意味著可以進(jìn)行任何類型的操作,包括顯示黑色虛擬內(nèi)容和令現(xiàn)實世界變暗。
視頻透視顯示器的原理
可以進(jìn)行適當(dāng)視頻混合的能力絕對是視頻通過光學(xué)透視的優(yōu)勢。盡管如此,現(xiàn)在基本所有的AR設(shè)備都采用光學(xué)透視。原因十分簡單:在視頻透視的情況下,我們在本文中討論的所有挑戰(zhàn)都適用于真實視圖和虛擬內(nèi)容。相比之下,光學(xué)透視僅適用于虛擬內(nèi)容,而通過巧妙的UI設(shè)計我們可以更好地進(jìn)行控制。動態(tài)范圍是一個明顯例子:盡管具有巨大動態(tài)范圍的人眼可以看到一個位于陽光之下的人和一個位于陰影之中的人相鄰站立,但今天的相機和顯示器無法解決這個問題。要么陰影中的人過暗,要么陽光下的人太亮。另外,大視場是必要項,這不僅是為了匹配所部署的攝像頭系統(tǒng),同時是為了模仿如肉眼所見的真實世界視場。另外,存在安全和人類因素等需要解決的問題。所以,本文的其余部分只探討光學(xué)透視顯示。
2. 設(shè)計參數(shù)
我們在本文假設(shè)視場只是AR顯示器的眾多基本設(shè)計參數(shù)之一。所述的大多數(shù)設(shè)計參數(shù)與F視場同樣重要。下面我們列出了最重要的屬性:
視場視窗大?。‥ye box size)亮度,透明度和占空時間對比度均勻性和色彩質(zhì)量分辨率現(xiàn)實世界畸變虛擬圖像畸變?nèi)搜郯踩m眼距色差深度感知體積,重量和形狀參數(shù)光學(xué)效率延遲雜散光
我們可以相對輕松地以其他作為代價來改進(jìn)一個參數(shù)。例如,如果可以接受大體積和小視窗,增加視場將不是什么難事。但大多數(shù)用戶可能不希望使用這樣的設(shè)備。另一方面,在小型顯示器中實現(xiàn)大視場和大視窗非常具有挑戰(zhàn)性。類似地,較大的視窗需要更多的光線來實現(xiàn)相同的感知亮度,所以需要更強大的光源。
下面描述的大多數(shù)參數(shù)今天都未達(dá)到最理想的狀態(tài)。所以,設(shè)備廠商的目標(biāo)是全方位地提升它們。但正如剛才提到的一樣,在不犧牲其他參數(shù)的情況下改進(jìn)一個參數(shù)已經(jīng)十分困難。這種權(quán)衡的主要原因是所謂的系統(tǒng)光學(xué)擴展量。這是一個幾何不變量,如下面的公式所定義。類似于能量守恒,我們需要維持光學(xué)擴展量守恒。在最簡單的形式中,光束所通過的面積和光束所占有的立體角的乘積必須是常數(shù)。
光學(xué)擴展量守恒:h2越高,Ω2則越小
在圖片中,高度為h1的對象用作光源。對于所示透鏡系統(tǒng)的幾何形狀,得到的圖像高度h2> h1,而對象側(cè)的立體角Ω2小于Ω1。換句話說,如果面積擴大,則立體角減小,反之亦然。更正式的光學(xué)擴展量定義為:
其中n是介質(zhì)的折射率,θ是面積dA的發(fā)射(或接收)光束的角度。我們注意到光學(xué)擴展量沒有的標(biāo)準(zhǔn)符號,但“G”和“dG”經(jīng)常用于光學(xué)領(lǐng)域。類似術(shù)語出現(xiàn)在稱為拉格朗日不變量的近軸極限中:
其中h1和h2是對象和圖像高度,u1和u2分別是對象和圖像射線角度。G的替代表達(dá)式有時用于包含NA(數(shù)值孔徑)的顯微鏡物鏡:
如果為獲得恒定視場而嘗試擴大出射光瞳,光學(xué)擴展量將影響光引擎設(shè)計的效率和投影儀尺寸。以下圖的簡單投影儀設(shè)計為例,焦距為f的準(zhǔn)直透鏡準(zhǔn)直寬度為x的微型顯示面板(限制在一個維度)。無論是波導(dǎo)還是自由空間系統(tǒng),投影儀的視場都是我們希望嘗試實現(xiàn)和通過顯示器中繼的目標(biāo)。
基于準(zhǔn)直微顯示面板的簡單頭顯投影儀
投影儀的高度(出射光瞳)由透鏡的直徑確定,而投影儀的視場θ由以下等式確定:
為了增加給定顯示器的視場,我們需要減小f或增加x,但根據(jù)光學(xué)擴展量守恒,增加立體角將減小圖像尺寸。另外,透鏡半徑不能大于其曲率半徑,而這又決定了它的焦距(通常使用鏡子,因此只有一個表面具有屈光率)。所以這里存在一種權(quán)衡,而我們可以通過更大的顯示面板進(jìn)行解決,但這又會使得投影儀和照明系統(tǒng)更大,因為在準(zhǔn)直光源時會出現(xiàn)相同的問題。所以,光電發(fā)射顯示面板非常具有吸引力。波導(dǎo)十分歡迎,因為它們支持“出瞳擴展”或“出瞳復(fù)制”,從而使得光學(xué)擴展量關(guān)系不會直接受到影響。但這會產(chǎn)生其他后果,如圖像質(zhì)量,效率和亮度。當(dāng)選擇用于投影儀的掃描激光系統(tǒng)時,你同時會遇到其他復(fù)雜的情況,因為投影儀的出射光瞳非常小。擴展這種投影儀的一種方法是,將中介屏幕作為輔助光源,但這會增加體積(因為需要額外的中繼透鏡),增加光斑,并且會降低效率。另一種出瞳擴展方法是采用波導(dǎo),但如果沒有眼動追蹤和主動校正功能,你將難以抑制偽影。
2.1 視場
盡管人人似乎都渴望更大的視場,但這必須與其他方面進(jìn)行仔細(xì)平衡。更大視場的需求很大程度上取決于頭顯設(shè)計目的。對于諸如游戲這樣的消費者用例,更大的視場將能增加沉浸感。有40度×30度的視場對大多數(shù)專業(yè)用例而言已經(jīng)足夠(如維護(hù)和檢查等),因為焦域小,而其他方面更為重要(如增加安全性)。
各種AR/VR設(shè)備的視場和人類視場。為簡單起見,所有視場都繪制成矩形。注意,實際的AR/VR設(shè)備視場和人類視場都不是矩形。
如上圖所示,今天的AR顯示器僅覆蓋人類視場的一小部分。受益于更簡單光學(xué)設(shè)置的VR設(shè)備則更接近覆蓋整個人類視場。
視場,視窗和適眼距緊密相關(guān),如下面簡化的方程式所示:
其中s是光學(xué)表面的尺寸(如寬度),b是視窗尺寸,r是適眼距,v是視場。下圖說明了這種關(guān)系。
光學(xué)表面尺寸(s),適眼距(r),視窗尺寸(b)和視場(v)的關(guān)系。
假設(shè)視場是40度,適眼距是20mm,視窗尺寸是20mm,顯示器表面需要35mm寬。假設(shè)視場是90度,其他參數(shù)類似,則顯示器表面需要達(dá)到60mm。對于DigiLens宣稱的150度(對角線)波導(dǎo),顯示器的對角線需要達(dá)到170mm。對于4:3的形狀參數(shù),顯示器需要為大約135mm×100mm,而且是單眼。
從左到右的波導(dǎo)尺寸:35mm,60mm和135mm。
從上圖中可以看出,即便是60mm寬的波導(dǎo)都已經(jīng)相當(dāng)大,而135mm寬的波導(dǎo)根本不可行。它不僅大得可笑,而且這種寬視場必須納入雙目重疊,這意味著兩個波導(dǎo)必須重疊。顯然,要達(dá)到這樣的視場,平面顯示器表面將不再有效,并且需要考慮曲面組合器選項。(盡管并非不可能)但曲面波導(dǎo)目前只是一個研究課題,離實用尚有十分遙遠(yuǎn)的距離。
2.2 視窗尺寸
視窗是近眼顯示器前面的區(qū)域,可允許用戶“正確地”感知顯示內(nèi)容。視窗之外的顯示內(nèi)容可能會失真,顏色可能錯誤,或者內(nèi)容可能根本就無法感知。盡管行業(yè)將其稱為“視窗”,但這一區(qū)域的3D形狀不是盒狀而是圓錐形,并且會隨著距顯示器的距離變大而變薄。盡管視窗是AR和VR顯示領(lǐng)域的常見術(shù)語,但光學(xué)元件領(lǐng)域更常用的術(shù)語是“出瞳”,其中瞬時視場等于總視場。
眼睛是黑色,視窗是綠色,顯示器則為藍(lán)色。
在使用雙筒望遠(yuǎn)鏡或顯微鏡時,大多數(shù)人應(yīng)該都會注意到出瞳過小的問題:除非每只眼睛能夠精確定位在目鏡前面的正確位置,否則你將看不到任何一切。這種“不待見”行為的原因是,較小的出瞳導(dǎo)致更高的光效率(進(jìn)入雙筒望遠(yuǎn)鏡的光線集中在另一側(cè)的小范圍區(qū)域),而這顯然是雙筒望遠(yuǎn)鏡的理想屬性。
那么,視窗到底要多大呢?視窗的最小實際尺寸顯然是人眼瞳孔尺寸(通常假設(shè)為大約4mm),而這通常是雙筒望遠(yuǎn)鏡的設(shè)計目標(biāo)。雙筒望遠(yuǎn)鏡的視場非常小,所以瞳孔保持相對固定。但對于AR/VR顯示器,用戶的眼睛可以自由移動。為了支持這種眼睛運動,視窗需要在每個方向增加至少數(shù)毫米。
眼球運動不是擴大視窗的唯一要求。不同人有著不同的瞳距(IPD)。為了支持這種差異化,我們需要機械調(diào)節(jié)(如雙筒望遠(yuǎn)鏡)或光學(xué)調(diào)節(jié)(通過進(jìn)一步增加視窗寬度)。對于移動端設(shè)備而言,移動式組件存在非常大的問題,尤其是在需要精確校準(zhǔn)的時候。由于機械調(diào)整不是一個好選擇,所以視窗寬度需要進(jìn)一步增加至少10mm,理想情況下是20mm。
由于波導(dǎo)的輸入光瞳通常不是非常大,所以行業(yè)開發(fā)了各種技術(shù)來增加出射光瞳的尺寸,如出瞳擴張或出瞳復(fù)制。衍射波導(dǎo)具有天然的優(yōu)勢,而反射波導(dǎo)在兩個方向擴展視窗(2D出瞳擴展)則非常具有挑戰(zhàn)性。結(jié)果,半反射波導(dǎo)通常具有比衍射波導(dǎo)小的視窗。
設(shè)計大視窗通常非常具有挑戰(zhàn)性,并且會對其他設(shè)計參數(shù)產(chǎn)生巨大的影響。例如。視窗尺寸直接影響顯示區(qū)域(波導(dǎo))的所需尺寸。另外,正如在雙筒望遠(yuǎn)鏡的示例一樣,為了實現(xiàn)相同的感知亮度,較大的視窗需要更多的光輸出。
2.3 亮度,透明度和占空時間
簡單來說,顯示亮度定義了顯示器的亮度是否足夠支持用戶在特定情況下清楚地感知虛擬內(nèi)容。透明度則關(guān)于有多少現(xiàn)實世界光線能夠到達(dá)眼睛。對于AR,理想情況是非模糊區(qū)域達(dá)到100%。對于VR,它通常為零。占空時間定義了每幀像素點亮的時間。占空時間可以以毫秒或幀時間百分比進(jìn)行度量。這三個主題在很大程度上獨立于用戶視點,但技術(shù)上密切相關(guān)。我們將在本節(jié)中一起討論。
對移動AR設(shè)備而言,顯示亮度絕對是一個極具挑戰(zhàn)性的話題。今天幾乎所有的AR頭顯的顯示亮度都非常有限:Hololens和DAQRI Smart Glasses的顯示亮度約為300 nits,而Magic Leap One的顯示亮度僅為200 nits。由于顯示器亮度非常具有挑戰(zhàn)性,所以今天大多數(shù)的AR眼鏡通常都是經(jīng)過調(diào)配,只限于室內(nèi)使用,而且在戶外很快變得不可用,尤其是在陽光直射的情況下。為了減輕這個問題,大多數(shù)AR頭顯都采用會降低透明度,并因而減少到達(dá)用戶眼睛的環(huán)境光線數(shù)量的有色面板,從而令顯示器相對更加光亮。盡管這對于消費者來說或許可以接受,但大多數(shù)專業(yè)領(lǐng)域都不能容忍低顯示透明度。
除了有色面板,大多數(shù)光學(xué)設(shè)計都會阻擋大量的現(xiàn)實世界光線。例如,Birdbath設(shè)計(原ODG和現(xiàn)Nreal)會格擋大部分的入射光線。
Karl Guttag的博客有關(guān)于這方面的介紹(這里 和這里 )。根據(jù)Guttag的說法,Hololens只允許約40%的環(huán)境光線到達(dá)眼睛,MagicLeap One僅為約15%,而在2019年初亮相的Nreal眼鏡則是25%左右。幸運的是,人眼具有大約1:109的巨大動態(tài)范圍,所以我們能夠應(yīng)對這種亮度降低。但在黑暗環(huán)境中,這種亮度降低可能是產(chǎn)生問題。
由于占空時間定義了每幀允許像素發(fā)光的時間長度,所以它與顯示亮度密切相關(guān)。占空時間為100%意味著顯示器連續(xù)發(fā)光。對于60Hz顯示器,這意味著每幀大約16ms。但在這樣長時間內(nèi)顯示相同的像素值將導(dǎo)致運動偽影(“拖尾”)。比方說我們假設(shè)顯示器的水平視場是40度,水平方面1280像素分辨率,以及每秒60度的頭部旋轉(zhuǎn)。在這種情況下,頭部大約每毫秒旋轉(zhuǎn)2個像素。所以當(dāng)占空時間為16ms時,每個像素將在32個像素的長度中產(chǎn)生“空間拖尾”(參見下圖)。
左右兩邊為相同的圖像,但右圖出現(xiàn)了水平運動模糊。
但幸運的是,在專心查看細(xì)節(jié)時,我們?nèi)祟愵^部會更加穩(wěn)定,所以實際上AR顯示器通??梢越邮?ms或更低的像素占空時間。
60Hz幀率的占空時間。左邊是16ms,右邊是4ms。
LCOS面板是由單獨的LED點亮,而這可以非常光亮,所以可以實現(xiàn)高透明度,占空時間低于1ms(各顏色)的光亮顯示器。另一方面,OLED更暗,所以當(dāng)占空時間過短并且同時需要高透明度時,OLED顯示器很快就會出現(xiàn)多個問題。以上圖為例,當(dāng)占空時間為16ms時,顯示器更亮,但會出現(xiàn)拖影。當(dāng)占空之間為4ms時,拖影情況會減少,但顯示器會過暗。
當(dāng)占空時間為4ms時:左邊是120Hz幀率,右邊是240Hz。
當(dāng)幀率為60Hz(約16ms)時,4ms的絕對占空時間將導(dǎo)致顯示像素僅在約25%的時間內(nèi)有效。結(jié)果,顯示亮度將降低四倍。如果顯示器以120Hz運行,4ms的占空時間意味著像素依然在大約50%的時間內(nèi)發(fā)光。類似地,240Hz可以實現(xiàn)約100%的占空時間。但對于移動設(shè)備及其顯示面板而言,這種高幀速率并不現(xiàn)實。
2.4 對比度
對比度沒有正式的定義或衡量方法。但是,大多數(shù)人都能理解對比度。簡單來說,對比度描述了顯示器同時產(chǎn)生更亮和更暗像素的能力,如:
如果顯示器的對比度較差,則無法同時顯示亮內(nèi)容和暗(透明)內(nèi)容。根據(jù)顯示器的整體亮度,它要么無法顯示明亮區(qū)域,要么本應(yīng)為暗(透明)的區(qū)域沒有變暗。對于光學(xué)透視顯示器,透明度取代了黑色的作用:在對比度差的AR顯示器中,你可以看到透明區(qū)域顯示為深灰色。換句話說:只要AR顯示器不夠亮,對比度差的負(fù)面影響同樣有限。但隨著AR顯示器的亮度提升,它們將需要更高的對比度。
對比度取決于顯示面板和光學(xué)系統(tǒng)。LCOS往往具有低對比度,通常是為1:100至1:200。OLED具有相對較高的對比度,可以達(dá)到1:1.000.000或更高,這就是它們?nèi)缃袷艿郊矣秒娨暁g迎的原因。但在兩種情況下,光學(xué)元件(棱鏡,透鏡,波導(dǎo))將導(dǎo)致對比度的進(jìn)一步降低。例如對基于LCOS的系統(tǒng)而言,最終對比度很容易就會低于1:100。
2.5 均勻性和顏色質(zhì)量
顏色質(zhì)量定義了顯示器能夠再現(xiàn)顏色的準(zhǔn)確程度。例如,由GPU渲染成紅色的像素會顯示屏中顯示為紅色嗎?為了實現(xiàn)適當(dāng)?shù)纳试佻F(xiàn),我們需要進(jìn)行校準(zhǔn)(包括伽瑪)。由于AR顯示器通常是添加光線,所以感知顏色同時取決于虛擬內(nèi)容所疊加的場景。
與對比度相同,顏色質(zhì)量可能存在非常大的差異,具體取決于顯示器的位置:例如,取決于它是位于顯示器的左側(cè)還是右側(cè),像素顏色看起來可能相當(dāng)不同。這種偽影通常依賴于視圖,這意味著用戶瞳孔的位置同樣會有影響,并且需要眼動追蹤進(jìn)行解決。
均勻性描述了位于不同顯示器位置的像素顏色變化:對于完美的顯示器,通過相同RGB值渲染的每個像素看起來都完全相同。實際上,亮度,對比度,顏色和其他屬性取決于顯示器位置以及查看像素的角度。
盡管自由形式組合器(如Meta2)和半反射波導(dǎo)(如Lumus)的均勻性通常都非常好,但衍射波導(dǎo)顯示器(如Hololens和MagicLeap)明顯受到均勻性問題的影響。這種充滿中等灰度像素級數(shù)的顯示器會出現(xiàn)各種色調(diào)(見下圖)。
衍射波導(dǎo)的顏色問題。顯示器會出現(xiàn)各種色調(diào),而非均勻的白色或灰色色調(diào)。底部明顯出現(xiàn)了亮度不均勻
2.6 分辨率
顯示分辨率描述了可以顯示多少不同的像素。這是一個有著眾多文章介紹的屬性之一。顯示分辨率的最終目標(biāo)是達(dá)到人類視覺極限或略微超過大約一弧分(1/60度)。
由于市場對提升規(guī)格的需求,今天大多數(shù)智能手機的分辨率遠(yuǎn)高于人眼在正常情況所能感知的分辨率。例如在40厘米遠(yuǎn)查看顯示屏尺寸為14厘米的智能手機,這意味著手機屏幕在人眼視場范圍內(nèi)大約為20度,所以長邊不需要超過1200像素。但是,今天依然有一系列的智能手機的顯示分辨率要比這個數(shù)字高出50%。
視場為30度×20度的AR顯示器大約需要1800×1200像素。但今天的VR顯示器位于90度×60度的范圍內(nèi),所以實現(xiàn)人眼極限需要5400×3600像素。這意味著每秒生成和顯示大約20萬像素75次,或每秒15億像素……
對于智能手機,用戶直接看著屏幕(忽略手機膜)。所以沒有光學(xué)元件會以負(fù)面方式影響顯示面板提供的像素質(zhì)量。對于AR和VR設(shè)備,盡管復(fù)雜的光學(xué)系統(tǒng)是位于用戶眼睛和顯示面板之間,但它們會嚴(yán)重降低圖像質(zhì)量。感知分辨率(到達(dá)眼睛的分辨率)可以顯著低于顯示面板分辨率。正如Karl Guttag所說,MagicLeap One的有效分辨率僅為其面板分辨率的一半。類似地,Hololens顯示器在從LCOS到眼睛的光路中損失了大量的分辨率。
所以,只要光學(xué)系統(tǒng)是顯示面板的限制因素,分辨率通常沒有什么意義。
2.7 真實世界畸變
對于光學(xué)透視顯示器,用戶是通過顯示器的光學(xué)元件感知現(xiàn)實世界。在大多數(shù)AR設(shè)備中,所述元件構(gòu)成了下面的子集:
顯示視覺增強所需的虛擬圖像的波導(dǎo),如HoloLens?;蛘邔⑼队皥D像反射到眼睛的自由形式組合器,如Meta2。設(shè)備外部的面罩用于保護(hù)電子元件和光學(xué)元件。將虛擬圖像焦平面從無限遠(yuǎn)移動到更為可行位置的推/拉透鏡,如2米(如DAQRI Smart Glasses的反射波導(dǎo))。在一側(cè)或兩側(cè)保護(hù)脆弱波導(dǎo)的附加塑料,如Hololens。
其中一些元件具有額外的,不受待見的光學(xué)屬性。例如,波導(dǎo)以將光線彎曲(引導(dǎo))到正確的方向,但它同時會影響真實世界的光線,而理想情況下光線不應(yīng)該受到影響。類似地,面罩或推/拉透鏡的設(shè)計或由于有限的質(zhì)量而使光線變形。
當(dāng)然,大家都希望能夠盡可能少地扭曲現(xiàn)實世界視點,但在實踐中,限制重量和成本的愿望需要可能會產(chǎn)生明顯偽影的妥協(xié)。
2.8 虛擬圖像畸變
光學(xué)工程師旨在設(shè)計一種有著最大可能圖像質(zhì)量的光學(xué)路徑,而這同時包括最小化畸變:在完美的示例中,顯示面板的矩形像素網(wǎng)格將顯示為等量矩形像素網(wǎng)格。在諸如看著矩形智能手機這樣的直接視圖場景中,這一點很少有納入考慮。在諸如AR顯示器這樣的復(fù)雜光學(xué)設(shè)置中,為了優(yōu)化其他參數(shù),圖像畸變通常成為需要忍住的要素。
幸運的是,與現(xiàn)實世界畸變相比,只要顯示器合理校準(zhǔn)(畸變很大程度上是取決于視圖),虛擬內(nèi)容的畸變可以有效地進(jìn)行解決。通過恰當(dāng)?shù)男?zhǔn),所述畸變可以作為渲染管道的一部分進(jìn)行處理,而處理成本很低或者為零。不過,取決于系統(tǒng)的光學(xué)畸變量,這可以帶來顯著的偽影,比方說特定區(qū)域的顯示分辨率出現(xiàn)大幅降低。
通常來說,波導(dǎo)的畸變相當(dāng)?shù)?,這樣至少消費者用例可能會予以忽略(沒有通過數(shù)字方式進(jìn)行校準(zhǔn)和校正)。自由空間組合器(和VR顯示器一樣)通常會生成需要進(jìn)行恰當(dāng)處理的嚴(yán)重畸變。由于畸變圖像非常不規(guī)則,所以顯示面板的有效區(qū)域可能同樣會減少。下圖是自由空間設(shè)計的示例性畸變網(wǎng)格??梢宰⒁獾?,網(wǎng)格的一部分落在顯示面板之外,并且用戶不能觀察到顯示面板的一部分(沒有網(wǎng)格的黑色區(qū)域)。 下圖同時說明了頂部和底部之間的分辨率差異。
自由空間組合器的示例性失真。圖片是沿到顯示面板的光路追蹤矩形網(wǎng)格圖像生成。
2.9 人眼安全
在談?wù)揂R顯示器時,兩種類型的人眼安全十分重要:確保眼睛不受AR顯示器的影響;確保AR顯示器保護(hù)眼睛免受外部傷害。
確保眼睛不受AR顯示器傷害聽起來像是不費吹灰之力。顯然,任何產(chǎn)品都必須滿足這個要求。但對于距離最脆弱的人體器官僅幾厘米的近眼顯示器而言,我們必須特別小心。這變得尤為重要,因為大多數(shù)AR顯示器是將玻璃元件作為光學(xué)堆疊的一部分。在發(fā)生撞擊時,玻璃元件可能會破碎并傷害用戶。所以,我們需要將所有玻璃元件整合至不易破碎的護(hù)蓋之中。
盡管這聽起來十分明顯,但事實并非總是如此。例如,最近發(fā)布的聯(lián)想ThinkReality就把反射性波導(dǎo)波導(dǎo)直接放在用戶眼睛前面,沒有任何護(hù)蓋。由于這種波導(dǎo)是由眾多以水平條紋粘在一起的小玻璃元件構(gòu)成,所以它們很容易損壞并對用戶造成傷害。
保護(hù)眼睛免受外界傷害通常只商業(yè)和工業(yè)環(huán)境中的要求。對于所述領(lǐng)域,諸如ANSI Z87.1之類的眼睛保護(hù)安全標(biāo)準(zhǔn)描規(guī)定了評為安全眼鏡所需承受的力類型。
2.10 適眼距
與視窗相同,適眼距沒有通用的定義。簡單來說,它是指瞳孔到AR顯示器最近點的支持距離。由于并非所有用戶都具有相同的頭形,所以在實踐中需要支持一定范圍的適眼距,從而限定視窗的厚度(沿著觀察方向)。
適眼距是瞳孔到光學(xué)表面最近點的距離
通常來說,優(yōu)選足夠支持常規(guī)眼鏡的適眼距,這樣存在視力問題的用戶就無需購買定制透鏡。但如前所述,視窗實際上不是一個方形,而是圓錐形,并且會隨著顯示器的距離變大而變薄。所以,支撐大適眼距,以及寬度和高度足夠大的視窗非常具有挑戰(zhàn)性。
2.11 外圍視覺
當(dāng)談到AR眼鏡時,我們關(guān)注的不僅只是一個視場,而是兩個視場:AR眼鏡用于顯示虛擬內(nèi)容的可視覺增強區(qū)域,這是大多數(shù)文章和規(guī)范所指的視場;但人類可以感知的視場范圍要大于當(dāng)前AR顯示器的可視覺增強區(qū)域,而我們將可視覺增強區(qū)域之外的視場稱為外圍視場。另外,我們需要確保不能過分遮擋外圍視場。
人類視場是單眼約150度×120度,雙眼加起來是220度×120度。將顯示器放在眼睛前面會造成額外的遮擋,所以一個重要的設(shè)計目標(biāo)是將這種遮擋保持在最低限度。下面是人眼視圖(綠色),無遮擋視圖(紅色)和可視覺增強視圖(藍(lán)色)的尺寸對比示意圖。為簡單起見,所有區(qū)域都繪制為矩形。
人類視場(綠色)與AR設(shè)備的示例性視場和實際視覺增強視圖進(jìn)行比較。綠色和紅色之間的區(qū)域表示設(shè)備所遮擋的視場。紅色和藍(lán)色之間的區(qū)域表示用戶可以感知的真實環(huán)境區(qū)域,但無法進(jìn)行視覺增強。
因此,除了最大化可視覺增強視場(藍(lán)色區(qū)域)之外,第二個目標(biāo)是最大化非遮擋視場(紅色區(qū)域)。要做到這一點,任何遮擋視圖的元素都需要向外拉。這包括顯示器部分(如投影儀),以及諸如傳感器這樣的元件或諸如鏡臂這樣的支撐結(jié)構(gòu)。
與上面的簡化示例圖不同,實際的視場不是矩形。如下圖所示,視場主要受眉毛,鼻子和臉頰的限制:紅色和黃色的組合區(qū)域描繪了左眼視場。類似地,綠色和黃色區(qū)域描繪了右眼的視場。黃色區(qū)域則描繪了雙眼重疊,亦即雙眼都可以觀察到的視場。
左圖:左眼和右眼的人類視場;右圖:左圖是通過使用虛擬頭部模型進(jìn)行光線投射生成。
2.12 色差
透鏡的折射率隨光波長而變化,這導(dǎo)致不同的“顏色相關(guān)”焦距。在相機中,這一般是通過組合多個透鏡來進(jìn)行補償,但由于尺寸限制,這對AR顯示器而言通常是不可能的事情。所以,色差是AR顯示器中引人注目的問題。盡管可以在軟件中校正一定的像差(通過適當(dāng)?shù)男?zhǔn)),但其他效果更難以解決(取決于視圖)或者不能校正。一如既往,最佳的途徑是盡可能地以光學(xué)方式而非數(shù)字方式來減少偽影。
左圖:紅色和藍(lán)色由于色差而分解;右圖:通過相應(yīng)地扭曲每個顏色通道進(jìn)行數(shù)字校正。
2.13 深度感知
有多種人類視覺線索可以允許我們感知深度。對于AR顯示器,兩個最重要的線索是視覺輻輳(眼睛旋轉(zhuǎn)以觀察相同的對象)和視覺調(diào)節(jié)(瞳孔聚焦對象)。它們是神經(jīng)耦合,而不匹配的視覺輻輳和視覺調(diào)節(jié)會造成用戶不適,亦即所謂的視覺輻輳調(diào)節(jié)沖突(VAC)。
大多數(shù)人在觀看3D電影時都會注意到VAC:盡管焦點永遠(yuǎn)不會改變(電視或投影屏幕不會移動……),但由于我們的眼睛看到略有不同的圖像(立體內(nèi)容),我們依然能夠感受到3D效果。在電影院中,焦平面由房間設(shè)置給出:如果你所坐的位置距離投影墻10米,焦平面就固定為10米。在這個距離下,人類幾乎不能根據(jù)瞳孔焦點區(qū)分距離。所以,只要立體內(nèi)容停留在這個距離或更遠(yuǎn),畫面看起來就會自然。
對于AR顯示器,焦平面是光學(xué)路徑的設(shè)計參數(shù):即便顯示器與眼睛的距離只有幾厘米,焦距平面都總是設(shè)置得更遠(yuǎn),因為人類無法聚焦于這么短的距離,而且這沒有任何意義,因為虛擬內(nèi)容會出現(xiàn)在更遠(yuǎn)距離。
下面的圖例說明了正常視圖,虛擬現(xiàn)實和增強現(xiàn)實之間的差異:在正常視覺輻輳和視覺調(diào)節(jié)同步的情況下,兩者都調(diào)整到相同的距離;對于虛擬現(xiàn)實,視覺輻輳始終位于相同的距離(通常約為兩米),而視覺調(diào)節(jié)取決于以立體形式渲染的屏幕內(nèi)容;對于增強現(xiàn)實,兩者的沖突甚至可以更大:通過虛擬內(nèi)容增強的對象看起來是與視覺調(diào)節(jié)同步,但對于真實對象和虛擬對象的視覺輻輳可能非常不同。
理想情況下,我們能夠為每個像素選擇不同的焦距,而且行業(yè)已經(jīng)演示了朝這個方向發(fā)展的實驗系統(tǒng)。但是,這種系統(tǒng)需要非常長的時間才能達(dá)到商用水平。
正常視圖(左),虛擬現(xiàn)實(中)和增強現(xiàn)實(右)的視覺輻輳和視覺調(diào)節(jié)
如果我們必須使用單個焦平面的AR顯示器,設(shè)計師就需要決定放置它的位置。最適合大多數(shù)場景的情況似乎是2米左右。焦平面應(yīng)該為大致平坦且對所有顏色相同。這不是一個簡單的設(shè)計目標(biāo),所以在測量今天的AR顯示器時,你會注意到實際的焦點“平面”既不平坦,對所有顏色也不相同。
2.14 尺寸,重量和形狀參數(shù)
顯示器尺寸和眼鏡尺寸是當(dāng)今AR設(shè)備最具挑戰(zhàn)性的設(shè)計參數(shù)之一。由于要求大視場和大視窗,所以很難令顯示器變小。這就像要求一輛小型卡車同時具備大卡車的運載噸位。大型顯示器會導(dǎo)致整體體積龐大,從而又造成AR眼鏡實用性較差。眼鏡越大,用戶越容易撞到什么。
另外,較大的顯示器通常會導(dǎo)致更重的光學(xué)元件。由于質(zhì)量和折射率要求,當(dāng)今AR顯示器的眾多光學(xué)元件都是由玻璃制成,而隨著尺寸的增加,玻璃很快就會變得太重。
在2018年舉行的Oculus Connect 5大會中,邁克爾·亞伯拉什指出AR眼鏡的重量不應(yīng)該超過70克。尺寸和重量不是獨立于其他屬性的參數(shù)。人體頭部可以舒適地承受比70克更重的重量(如果重量分布均勻)。盡管承受很輕的重量都會很快造成鼻梁受傷,但耳朵可以承受更多的重量,而且頭頂更加堅硬。重量分布比重量本身更為重要。例如,Meta2眼鏡不是很重,但由于糟糕的重量分布,它給前額施加了非常大的壓力。
2.15 光學(xué)效率
光學(xué)效率是指發(fā)光元件所發(fā)出的光線有多少實際到達(dá)用戶眼睛。令人驚訝的是,今天大多數(shù)基于波導(dǎo)的顯示器在光學(xué)效率方面都非常低,大部分僅為約百分之一。幸運的是,組合LCOS和LED的投影儀足夠亮,可以為波導(dǎo)提供足夠的光量。所以,OLED不是當(dāng)今波導(dǎo)的選擇。另一方面,對于組合器顯示器(如Meta2),我們可以通過組合器元件具有的透明度來很好地控制光學(xué)效率:組合器反射率越高,它的光學(xué)效率就越高。但這同時會反射更多的環(huán)境光,所以到達(dá)眼睛的環(huán)境光更少(透明度降低)。
波導(dǎo)是今天占主導(dǎo)地位的AR顯示技術(shù)。由于LCOS十分光亮但存在低對比度問題,而有著高對比度的OLED則存在低亮度問題,大多數(shù)人把目光投向了微型LED,因為這種類型的顯示器有望實現(xiàn)更高的亮度水平。行業(yè)已經(jīng)演示了分辨率和尺寸足以支持AR顯示器的微型LED面板,但迄今為止都只是單色面板。要實現(xiàn)支持全RGB的類似規(guī)格面板,行業(yè)尚需多年的時間發(fā)展。
2.16 延遲
運動到光子延遲定義了從出現(xiàn)一個事件(運動)到顯示器顯示相應(yīng)更新所需的時間。例如,當(dāng)用戶將頭部向右旋轉(zhuǎn)時,顯示器索顯示的內(nèi)容必須相應(yīng)地“向左移動”。對AR而言,延遲不是一個經(jīng)過充分研究的主題,這主要是因為行業(yè)直到最近才實現(xiàn)了具有足夠低延遲的系統(tǒng)。但人們普遍認(rèn)為,對于光學(xué)透視顯示器,5毫秒或更短的延遲已經(jīng)足夠。
由于延遲問題,標(biāo)注在快速頭部運動期間可能會從清晰位置(左側(cè))移動到不清晰的位置或錯誤位置(右側(cè))。
除了算法和其他電子組件,延遲主要是受顯示面板(OLED,LCOS)和顯示協(xié)議(MIPI,DisplayPort,HDMI)影響。延遲和顯示面板的選擇是一個復(fù)雜的主題,因為它對電子組件和軟件設(shè)計產(chǎn)生了巨大的影響。例如,執(zhí)行線序(“滾動”)更新的OLED和執(zhí)行色序(“全局”)更新的LCOS有著完全不同的數(shù)據(jù)傳輸和運動補償策略。
2.17 雜散光
大多數(shù)用戶和眼鏡廠商都渴望一種形狀與太陽眼鏡類似的AR眼鏡。盡管這聽起來十分簡單,但人們經(jīng)常會忽視一個問題:雜散光。
AR眼鏡的敞開程度越高,越多來至多余方向和光源的光線就能夠進(jìn)入系統(tǒng)。盡管AR顯示器通常能夠很好地應(yīng)對來自前方的環(huán)境光,但來自側(cè)面或用戶后方的光線會引起嚴(yán)重問題。常規(guī)眼鏡通常不會反射太多光線,所以問題不大。但AR顯示器必須反射和彎曲光線,所以更容易受到雜散光的影響。衍射波導(dǎo)特別受其影響,來自側(cè)面的光線會議彩虹偽影的形式出現(xiàn)在顯示器(參見下面的右圖)。反射波導(dǎo)的性能更好,但同樣存在這方面的問題。某些設(shè)計可以減少雜散光,但對于其他設(shè)計而言,這個問題不像衍射技術(shù)那樣容易解決。
左圖:來自兩邊的雜散光正反射進(jìn)入用戶眼睛;右圖:因雜散光造成的偽影
2.18 視覺舒適度
在過去五十年間的頭顯發(fā)展中,業(yè)界投入了大量的努力來解決人類因素問題,尤其是立體圖形顯示器。視覺輻輳和視覺調(diào)節(jié)是一個眾所周知的問題,另外還存在與雙眼視覺相關(guān)的其他問題,而它們會對舒適性產(chǎn)生巨大影響。其中一個是被稱為雙目垂直角差。當(dāng)雙目顯示器之間存在垂直視差或傾斜時,雙目垂直角差就會出現(xiàn)。人類視覺系統(tǒng)難以忍受這一問題,并且可能會導(dǎo)致頭暈,惡心,甚至嘔吐。有時人們認(rèn)為視覺輻輳調(diào)節(jié)沖突是造成這種癥狀的原因,但實際上這是顯示器之間的輕微錯位。1986年的美國海軍訓(xùn)練文本指出,為了避免眼睛疲勞,雙目鏡筒軸的垂直偏差δ不應(yīng)超過2弧分。
圖像的垂直偏差,亦即雙目垂直角差。這可能會導(dǎo)致用戶不適。右眼需要稍微旋轉(zhuǎn)才能整合的雙目圖像。
另一個可以影響舒適度的領(lǐng)域是雙目重疊量。例如,不必將左右圖像場完全重疊。實際上,通過故意不重疊雙目顯示來增加有效視場是一種常見的做法,這主要有兩種方式:眼睛發(fā)散重疊和眼睛會聚重疊。通常,人類視覺系統(tǒng)可以容忍這種情況,因為由于鼻子的影響,左眼和右眼看到的現(xiàn)實世界圖像不完全重疊。但在產(chǎn)生不適之前,用戶之間有著不同程度的部分重疊。90%的部分重疊可以接受,而當(dāng)重疊減少到70%時,表示不適的用戶數(shù)量有所增加。
部分重疊:左圖是眼睛發(fā)散部分重疊;右圖是眼睛會聚部分重疊
質(zhì)量中心是另一個重要元素。盡管不是非視覺要素,但不適當(dāng)?shù)脑O(shè)計可能會給用戶帶來不必要的頸部不適。需要合理安排顯示組件和驅(qū)動電子的放置,這可以幫助最小化重心的任何偏移。如果用戶需要在一定角度范圍內(nèi)向上和向下查看,這可能是十分關(guān)鍵的一點。
3. 其他?
除了本文探討的話題之外,還存在尚未進(jìn)入商業(yè)系統(tǒng)的其他光學(xué)設(shè)計選項。今天大多數(shù)設(shè)備都能夠在固定距離顯示一個焦平面。Magic Leap One則更進(jìn)一步,能夠顯示兩個焦平面,但在顯示器質(zhì)量和透明度方面付出了巨大的代價。然而,人類能夠區(qū)分大約十二種焦距,而目前的方法只能實現(xiàn)一兩個。所以,業(yè)界已經(jīng)開始研究可調(diào)節(jié)的焦平面,但對于大多數(shù)AR設(shè)備而言,迄今為止所演示的方法都過于復(fù)雜。
尚未進(jìn)入商業(yè)系統(tǒng)的另一個功能是:在光學(xué)透視顯示器中繪制黑色像素。今天的無源光學(xué)元件無法實現(xiàn)這一點,因為它們混合現(xiàn)實和虛擬的工作純粹是添加性質(zhì)。對于黑色像素,我們需要能夠以每像素和每幀水平格擋真實世界光線。盡管LCD層可能是一種解決方案,但它會將顯示器的透明度降低一半,并產(chǎn)生極化環(huán)境光的問題,所以這通常不是一種可行的解決方案。
我們同時沒有探討功耗和散熱的話題。人類對靠近眼睛和臉部的熱源非常敏感。所以,頭顯在面部和太陽穴區(qū)域消散的熱量不應(yīng)高超過一瓦特。基本上,今天所有的AR設(shè)備都產(chǎn)生了過多的熱量。為了提高顯示器的亮度,光學(xué)設(shè)計必須變得更加有效,而不僅僅只是增加顯示器光源的屈光率。
4. 對未來的期待
一個常見的要求是擴大視場和降低眼鏡尺寸(實現(xiàn)太陽鏡般的形狀參數(shù)),而這顯然不利于改進(jìn)我們上面討論的大多數(shù)參數(shù)。與電子設(shè)備不同,小型化通常不是光學(xué)設(shè)計的選擇或優(yōu)勢,因為它將帶來縮小的參數(shù),如焦距,視窗尺寸或適眼距。
除了少數(shù)參數(shù)之外,新的突破技術(shù)不太可能推動上面的大多數(shù)要素。例如,全彩微型LED的出現(xiàn)將使得更亮的小型投影儀成為可能,但這對整體顯示器尺寸的影響有限。另一方面,光學(xué)領(lǐng)域的技術(shù)不太可能出現(xiàn)急劇的改變。
所以,我們需要很長一段時間才能實現(xiàn)具備太陽鏡形狀參數(shù),大視場,高亮度,支持戶外用例,以及其他遠(yuǎn)見者所暢想的元素的AR眼鏡。與電池技術(shù)領(lǐng)域類似,我們更有可能看到各參數(shù)的逐年提升。
原文鏈接:https://yivian.com/news/65323.html