如果AR確實是下一個平臺，AR系統(tǒng)就必須足夠舒適，可以支持長時間佩戴，甚至是全天候佩戴，就像一副普通的眼鏡那樣。否則普羅大眾只會繼續(xù)將智能手機放在口袋里。如果AR確實能變成日常醫(yī)學(xué)眼鏡的樣式，普羅大眾就會將其用于顯示2D內(nèi)容（消息和提醒）和3D地理定位內(nèi)容。在所有這些情況下，用戶希望同時擁有真實世界和虛擬世界的舒適視圖。

我們必須克服一系列的設(shè)計和計算挑戰(zhàn)，從而令這種眼鏡式的AR系統(tǒng)成為現(xiàn)實：低延遲追蹤和渲染，低功耗，寬視場，緊湊的形狀參數(shù)。來自北卡羅來納大學(xué)教堂山分校（ Praneeth Chakravarthula ，David Dunn， Henry Fuchs ）和英偉達研究院（ Kaan Ak?it ）的研究團隊重點探討了AR系統(tǒng)的一個未得到充分研究的重要方面：真實與增強影像的焦點調(diào)節(jié)。

相關(guān)論文： FocusAR: Auto-focus Augmented Reality Eyeglasses for both Real World and Virtual Imagery

該研究團隊描述的系統(tǒng)FocusAR能夠動態(tài)地校正近眼顯示器的現(xiàn)實世界焦點，以及數(shù)字合成影像的內(nèi)部顯示，而其目的是完全替換用戶的醫(yī)學(xué)眼鏡。調(diào)整真實與虛擬刺激信號焦點的能力對于各種各樣的用戶而言都十分有用，尤其是視覺調(diào)節(jié)范圍有限的40歲以上用戶。團隊提出的解決方案采用可調(diào)焦透鏡進行動態(tài)地視覺校正，以及利用一個變焦顯示器來在適當(dāng)?shù)目臻g配準(zhǔn)深度設(shè)置虛擬影像，同時演示了一個概念驗證原型，并討論構(gòu)建自動對焦增強現(xiàn)實眼鏡的挑戰(zhàn)。

1. 普通眼鏡規(guī)格AR面臨的挑戰(zhàn)

眼睛為固定在空間中同一點上而進行會聚的距離名為輻輳距離，而眼睛為將這一點的影像帶到空間中銳利焦點而進行調(diào)節(jié)的距離則稱為焦點或調(diào)節(jié)距離。輻輳和調(diào)節(jié)屬于神經(jīng)耦合，例如當(dāng)輻輳角改變時，眼睛將調(diào)整調(diào)節(jié)深度，從而把場景帶到焦點中。對于VR，輻輳和調(diào)節(jié)之間的正確匹配非常重要。如果不匹配，輻輳距離和調(diào)節(jié)深度就會產(chǎn)生沖突，亦即所謂的視覺輻輳調(diào)節(jié)沖突（vergence-accommodation conflict；VAC），從而引起用戶視覺疲勞和不適。

與VR相比，輻輳距離與調(diào)節(jié)深度的正確匹配對AR甚至更為重要，因為除了VR的要求之外，在AR中真實世界需要緊密匹配虛擬世界。如果虛擬影像與相應(yīng)的真實對象不是位于相同的焦點深度，模糊不一致將迫使用戶改變焦點，并注視于本應(yīng)完全清晰對象上（見下圖）。

圖：由于所有虛擬對象都位于一個固定的深度平面，現(xiàn)有的傳統(tǒng)AR顯示器常常出現(xiàn)虛擬與現(xiàn)實世界焦點線索不匹配的情況。（左邊）由于虛擬影像位置比教科書更深的平面上，因此書本出現(xiàn)在焦點上，而且書籍上的虛擬標(biāo)簽失焦；（右邊）當(dāng)焦點位于教科書時，書本上的虛擬標(biāo)簽變得清晰，但教科書失焦。

對于在日常生活中需要校正鏡片的用戶（“近視”和“遠視”），情況則更為復(fù)雜，因為即使不是AR和VR，他們也必須處理VAC。比如說一位“近視”用戶，他可以舒適地根據(jù)0.5米遠的情景進行視覺輻輳和調(diào)節(jié)，但卻需要校正鏡片才能清晰地聚焦10米處的對象。當(dāng)他第一次使用矯正性“距離”鏡片時，10米處的對象將出現(xiàn)在焦點上（因為對于他的眼睛而言，10米的對象正位于0.5米處），但他在0.5米處會輻輳，從而產(chǎn)生“雙重視覺”。經(jīng)過數(shù)小時，數(shù)天甚至幾周的佩戴后，他的視覺系統(tǒng)逐漸適應(yīng)10米的輻輳，并同時仍然可以在0.5米遠進行調(diào)節(jié)。有些用戶永遠無法適應(yīng)如此大的VAC。經(jīng)過幾代人的努力，配鏡師研究了大部分用戶都可以適應(yīng)和接受的VAC范圍。

在穿戴頭顯時，需要視覺校正的用戶仍需佩戴校正鏡片。有的AR頭顯在用戶眼睛和顯示器之間為醫(yī)學(xué)鏡片留下了一定的物理空間。對于老花眼人群而言（40歲以上），這并不能解決問題，因為用戶的焦距范圍受限于鏡片的聚焦范圍。雙焦，三焦或漸進鏡片僅僅在一個垂直角度聚焦特定距離，迫使用戶向上或向下傾斜頭部以聚焦于特定距離的真實對象。至少自本杰明·富蘭克林以來，發(fā)明者就一直在嘗試解決聚焦所有距離的對象，但即使是最新的產(chǎn)品也要求用戶轉(zhuǎn)動透鏡上的聚焦旋鈕以調(diào)整焦平面深度，而這對大多數(shù)用戶來說是一個無法接受的尷尬要求。

圖左邊：老花眼用戶通過一臺傳統(tǒng)AR頭顯所感知到的真實與虛擬視圖，視覺調(diào)節(jié)深度固定在7米。虛擬兔子位于中間（1米遠），郵票（0.25米），教科書（1米）和自行車（5米）分別在近，中，遠位置。請注意，真實影像和虛擬影像對用戶來說都是模糊的，因為沒有任何對象出現(xiàn)在老花眼用戶的調(diào)節(jié)平面中；圖中間：調(diào)節(jié)距離幾乎為零的老花眼用戶正在透過自動對焦AR眼鏡進行觀察。原型AR眼鏡能夠根據(jù)用戶當(dāng)前的眼睛調(diào)節(jié)狀態(tài)來單獨為用戶焦點調(diào)整顯示器上的真實世界和虛擬影像，從而在所有深度位置提供真實對象和虛擬對象的正確對焦影像；圖右邊：由于能夠?qū)φ鎸嵑吞摂M進行單獨的焦點調(diào)整，用戶通過自動對焦AR眼鏡能夠看到正確對焦的真實與虛擬視圖。請注意位于中間位置（1米），教科書文本和虛擬兔子都是精確對焦。

今天和未來的AR顯示器提供了一個機會，亦即利用AR顯示器上已有的功能來改善視覺輻輳調(diào)節(jié)沖突：強大的處理器，以及用于追蹤和基于雙手用戶交互的深度感知功能（如 微軟Hololens和Meta）。如果增加了快速，精確和強大的雙目 眼動追蹤 系統(tǒng)，頭顯就可以測量用戶在真實世界和虛擬世界中的注視對象。接下來，系統(tǒng)可以將自適應(yīng)焦點添加到現(xiàn)實世界（外部）視圖中，并與虛擬世界（內(nèi)部）視圖的自適應(yīng)焦點分開，從而正確對焦真實與虛擬影像。這樣的顯示器同時可以應(yīng)用于自動對焦的醫(yī)學(xué)眼鏡（不提供虛擬內(nèi)容）。

2. FocusAR的意義和成果

但要構(gòu)建一個能夠為真實與虛擬，近距離和遠距離提供正確對焦影像的AR顯示屏，該團隊認為需要克服兩大挑戰(zhàn)：第一是，設(shè)計一個可以動態(tài)調(diào)整內(nèi)部顯示器和外部真實世界場景的焦點的顯示器，在本次研究中他們選擇了用于外部場景的可調(diào)焦透鏡，以及用于內(nèi)部顯示器的變焦光束組合器；第二是，強大的眼動追蹤。

研究團隊說，目前市場上不存在主動校正用戶感知真實世界時視覺缺點的顯示器設(shè)計，還沒有人解決了同時為真實場景和虛擬場景提供正確焦點線索的挑戰(zhàn)，所以才有了他們的FocusAR研究項目，并得出了以下成果：

提出了一個用于分析由AR顯示器引起的視網(wǎng)膜模糊的框架，包括失焦的真實與虛擬對象。利用它來理解和表征能夠提供正確對焦真實與虛擬影像的AR顯示器的要求。

提出設(shè)計和制造了一個自動對焦AR眼鏡原型（利用內(nèi)部的定制3D打印組件，以及現(xiàn)成的消費電子產(chǎn)品），并實時驅(qū)動顯示器。

實驗證明，通過可獨立調(diào)節(jié)的焦點（無論是現(xiàn)實世界還是虛擬內(nèi)容），對于眼睛中具有較低階像差的用戶以及具有正常視力的用戶而言，所有深度的圖像感知質(zhì)量都得到改善。（當(dāng)前版本的原型沒有校正散光）

3. FocusAR顯示器設(shè)計

從下表可以看到，AR顯示器如果要同時支持真實和虛擬的焦點線索，我們需要對虛擬影像深度和真實世界視覺校正進行單獨的調(diào)整。

盡管正常視力的用戶不需要任何視覺校正，但眼睛中具有任何屈光不正的用戶都需要外部焦點調(diào)整，從而對真實世界對象進行正確對焦。但是，近視和遠視用戶僅需要靜態(tài)焦點校正，而老花眼用戶則需要根據(jù)感興趣對象的深度進行動態(tài)視覺校正。因此，為了動態(tài)調(diào)整外部校正透鏡，我們需要可在一定焦距范圍內(nèi)運作的可調(diào)焦透鏡。借助強大的雙目眼動注視點追蹤系統(tǒng)，頭顯上的多個外置攝像頭，以及用戶眼睛屈光不正程度的先驗知識，我們可以確定感興趣對象的深度，并調(diào)整外部校正透鏡的焦點，從而幫助用戶正確聚焦現(xiàn)實世界的目標(biāo)。像微軟Hololens這樣的商用AR頭顯已經(jīng)采用了外置攝像頭和追蹤器來分析空間環(huán)境，而未來的AR和VR頭顯預(yù)計將集成眼動追蹤器，所以該團隊的研究主要集中在光學(xué)校正系統(tǒng)上。

內(nèi)部顯示器應(yīng)該能夠在不同深度渲染對象，同時在空間上將它們配準(zhǔn)到現(xiàn)實世界，靜態(tài)或動態(tài)地提供深度線索。這樣的內(nèi)部顯示器可以是以下兩種類型之一： 光場與全息顯示器 ，通過近似來自空間中給定點的波前來靜態(tài)地提供所有深度線索； 變焦顯示器 ，在任何給定的瞬間聚焦一個特定的深度平面，從而動態(tài)地提供深度線索。靜態(tài)地提供深度線索能夠確保正確的視網(wǎng)膜模糊；動態(tài)地提供深度線索則需要通過適量的視網(wǎng)膜模糊來渲染遠離焦深平面的對象。

FocusAR系統(tǒng)與選用組件的概述。左邊是外部視覺校正系統(tǒng)，右邊是內(nèi)部的增強現(xiàn)實顯示系統(tǒng)。

內(nèi)部顯示器類型更多的是一種設(shè)計選擇，而渲染取決于所使用的內(nèi)部顯示技術(shù)。對于變焦顯示器，可以使用傳統(tǒng)的渲染管道，只需稍加修改即可支持計算模糊和失真校正。光場和全息顯示管道則更為復(fù)雜，涉及多視口積分成像（multi-viewport integral imaging），以及包含菲涅爾集成的點配準(zhǔn)方法。

總而言之，具備視覺校正和動態(tài)聚焦功能的AR眼鏡有兩個任務(wù)，并需要集成至同一個系統(tǒng)中：第一，主動校正外部焦點，以支持現(xiàn)實世界感知；第二，主動校正內(nèi)部顯示器的焦點，并使用適當(dāng)?shù)挠嬎隳：秩咎摂M影像。

4. FocusAR原型

研究團隊提出了一個硬件原型，其包括針對現(xiàn)實世界對象的 視覺校正 ，面向虛擬對象的 變焦焦點顯示器 ，以及用于設(shè)置每位用戶校準(zhǔn)和控制每個子系統(tǒng)的硬件和軟件。

為了校正外部真實世界影像，團隊開發(fā)了一種采用可調(diào)透鏡的 視覺校正模塊 ，其能夠在任何深度形成清晰的圖像，適用于近視，遠視和老花眼用戶。

視覺校正模塊離用戶眼睛14毫米遠，能夠?qū)崿F(xiàn)單眼37度視場。如此放置最大化了可用的視場，并令內(nèi)部顯示器能夠渲染與外部真實世界深度相匹配的虛擬影像，因為視覺校正模塊同時校正了真實與虛擬影像的焦點，從整體上簡化了系統(tǒng)。

與Dunn等人提出的變焦顯示器相比，該團隊面向增強影像的內(nèi)部 變焦顯示器 是一個更為精細的系統(tǒng)。它主要是依賴一種能夠動態(tài)調(diào)整半反射膜的光學(xué)功率以調(diào)整虛擬影像的光學(xué)深度，從而匹配用戶注視點的技術(shù)。

原型硬件與測試配置。左邊，顯示器原型與相機的配置，模擬正常視力用戶和老花眼用戶；右邊，我們可以看到顯示器原型包含用于外部世界焦點調(diào)整的視覺校正模塊，以及用于驅(qū)動顯示器焦點的可變形分束器膜。

為了測試原型，團隊將帶有EF 24-70 1：2.8 L USM鏡頭的佳能Rebel T6i相機放在視覺校正模塊后面，使其透過顯示器感知世界，模仿人眼。相機鏡頭和視力校正模塊之間的距離保持約22毫米，略高于眼睛和眼鏡之間的典型距離。由于相機距離稍大，所捕捉圖像中的視場比用戶體驗更差。相機的光圈設(shè)置為F2.8，而相機設(shè)置如上圖所示。通過在0.25米處放置郵票，1米處放置教科書，以及5米處放置自行車來創(chuàng)建真實世界場景。斯坦福兔子的多邊形模型用于虛擬影像，并通過OpenGL在顯示器上渲染。模擬了兩種不同類型的用戶：正常視力和遠視用戶。

5. 實驗結(jié)果

為了模擬視力正常且沒有調(diào)節(jié)損失的用戶，該團隊在視覺校正模塊關(guān)閉的同時不斷調(diào)整相機焦距以聚焦各個深度。模擬了兩種不同的場景：1，佩戴傳統(tǒng)頭顯的用戶，虛擬影像深度固定在1米（即教科書位置）；2，佩戴變焦顯示器的用戶，設(shè)備能動態(tài)調(diào)整虛擬影像深度以匹配真實世界目標(biāo)。

模擬正常視力的用戶，同時對比了傳統(tǒng)顯示器和變焦顯示器。

結(jié)果如上圖。在傳統(tǒng)頭顯設(shè)置中，當(dāng)用戶的焦點靠近郵票時，虛擬影像明顯模糊，因為虛擬影像深度與真實世界深度不匹配。但由于虛擬影像深度設(shè)置為教科書的深度，因此可以看到兔子和教科書都十分清晰。這表明傳統(tǒng)的AR頭顯不足以提供增強內(nèi)容的舒適瀏覽體驗。在另一方面，當(dāng)顯示器切換為變焦模式時，虛擬兔子可以設(shè)置在近，中，遠的位置，匹配真實世界目標(biāo)的深度。請注意，兔子與真實世界在所有深度上都總是清晰可見。近，中和遠位置的兔子進行了適當(dāng)?shù)目s放以包括透視深度。

為了模擬老花眼用戶，測試是將相機焦距固定在7米遠，從而模擬調(diào)節(jié)幾乎為零的老化眼鏡。虛擬兔子在近，中，遠處進行了適當(dāng)?shù)目s放。這個實驗?zāi)M了四個不同的情景：1，傳統(tǒng)的AR頭顯，外部視圖沒有視覺校正，內(nèi)部顯示器沒有動態(tài)調(diào)焦，虛擬顯示器的焦點設(shè)置為中等距離（即1米）；2，變焦AR頭顯，其中視覺校正模塊處于非活動狀態(tài)，但虛擬影像深度可以進行動態(tài)調(diào)整；3，調(diào)整顯示器的靜態(tài)焦點，調(diào)整虛擬影像的深度以匹配老花眼用戶的調(diào)節(jié)（在這種情況下為7米），但外部的視覺校正模塊處于非活動狀態(tài)；4，自動對焦AR眼鏡模式，內(nèi)部顯示器和外部真實世界視圖的焦點都可以進行單獨的動態(tài)調(diào)整。

模擬老花眼用戶看到的真實與虛擬影像，相機焦距固定在7米。

結(jié)果如上圖。對于傳統(tǒng)的AR頭顯模式的顯示器，現(xiàn)實對象和虛擬對象都會出現(xiàn)預(yù)期的模糊，因為虛擬圖像深度設(shè)置在1米遠，而用戶焦點設(shè)置在7米遠，超出真實與虛擬目標(biāo)的距離。當(dāng)顯示器切換為變焦模式時，感知圖像不會改善，這與之前正常視力用戶的實驗情況有所不同。原因是盡管虛擬圖像深度在空間上對齊現(xiàn)實世界對象的深度，但用戶的調(diào)節(jié)與對象的深度不匹配。與視力正常的用戶不同，老花眼的調(diào)節(jié)范圍幾乎為零。但如果在用戶的調(diào)節(jié)深度中將顯示器的焦點調(diào)整為靜態(tài)時，虛擬影像將變得清晰可見。不過，現(xiàn)實世界的對象看起來仍然像是失焦。

為此，F(xiàn)ocusAR的解決方案是，當(dāng)啟動顯示器的視覺校正模塊時，系統(tǒng)也將調(diào)整外部的矯正性透鏡，從而令用戶的調(diào)節(jié)深度與現(xiàn)實世界目標(biāo)的對象深度相匹配，并同時調(diào)整顯示器的焦點以匹配現(xiàn)實世界對象的深度。因此可以看出，近，中，遠距離的所有真實與虛擬對象都清晰可見。

但視場仍是FocusAR目前避免不了的限制。盡管用于瀏覽虛擬圖像的顯示器在水平與垂直方向上提供大約75度的視場，但可調(diào)焦透鏡的10mm孔徑尺寸將整體視場限制為37度。然而，研究團隊指出，最近針對大孔徑可調(diào)焦透鏡的研究表明有望在不久的將來增加視場。

6. 結(jié)論

由于硬件限制，當(dāng)前的FocusAR原型沒有整合眼動追蹤（使用眼動追蹤器要求用戶遠離視覺校正模塊，而這減少了可用的視場）。但FocusAR的這一早期原型已經(jīng)演示自動對焦AR眼鏡的概念證明設(shè)計，演示了為存在/不存在任何屈光不正的用戶顯示真實與虛擬內(nèi)容的初步能力。

我們已經(jīng)知道 Oculus 在VR原型頭顯Half Dome中采用了類似的技術(shù)。正如該團隊所說，映維網(wǎng)也相信未來的AR顯示器有望采用動態(tài)視覺校正和變焦顯示器，并在任何距離下為所有用戶實現(xiàn)20/20的視力（包括真實與虛擬影像）。

文章來源：映維網(wǎng)