來源：映維網(wǎng)  作者 夢秋

對于增強(qiáng)現(xiàn)實(shí)應(yīng)用，虛擬對象應(yīng)該無縫地集成在視圖中，從而實(shí)現(xiàn)一種真實(shí)對象和虛擬對象無法區(qū)分的效果。對于這一點(diǎn)，照亮虛擬對象或以真實(shí)世界的相同照明條件照亮虛擬對象，以及允許虛擬對象改變照明非常重要。

但對于增強(qiáng)現(xiàn)實(shí)場景，光照條件通常是未知的和任意的，所以難以為真實(shí)和虛擬對象提供一致的照明。

在增強(qiáng)現(xiàn)實(shí)應(yīng)用程序中，為真實(shí)對象和虛擬對象提供一致照明的一種可能方法是估計真實(shí)環(huán)境光?，F(xiàn)有技術(shù)的常用方法需要額外的設(shè)置，如鏡子或特殊攝像頭（魚眼攝像頭）。這無疑限制了所述方法的適用性。另外，大多數(shù)常用的方法只能估計環(huán)境光的方向，不能估計任何光源的位置。

估算或捕獲環(huán)境光的一種方法是通過全方位攝影頭或通過捕獲鏡像球體的圖像?？梢愿鶕?jù)全景圖像直接測量環(huán)境光。但這種方法的一個問題是需要額外的設(shè)置，如魚眼攝像頭或鏡像球體，而且添加到場景中的額外對象會改變原始場景。另外，這種方法主要是測量環(huán)境光的方向。

估算環(huán)境光的另一種方法是基于真實(shí)環(huán)境的圖像和真實(shí)環(huán)境的已知模型：使用RGB-D攝像頭捕獲真實(shí)環(huán)境的深度圖像，然后重建真實(shí)環(huán)境的表面。根據(jù)RGB-D攝像頭的RGB數(shù)據(jù)和深度數(shù)據(jù)，可以利用表面信息估計環(huán)境光。

針對上述方法的種種利弊，蘋果希望能夠提供一種具有普適性的方法，特別是在具有未知照明條件的環(huán)境。

在日前一份名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請中，蘋果介紹了在真實(shí)環(huán)境視圖中表示虛擬對象的方法與系統(tǒng)。

專利主要描述了一種在真實(shí)環(huán)境視圖中表示虛擬對象的方法和系統(tǒng)，所述系統(tǒng)包括提供由攝像頭捕獲的人臉的第一圖像圖像信息，提供至少一個人臉特定特征，確定第一圖像中的面部圖像區(qū)域為面部區(qū)域，根據(jù)面部區(qū)域和至少一個人臉特定特征確定照射在面部的至少一個第一光線，并根據(jù)第一光線在顯示設(shè)備上將虛擬對象混合至真實(shí)環(huán)境視圖。所述方法同時包括提供多個面部樣本位置，為多個面部樣本位置中的每一個提供輻射傳遞函數(shù)，確定第一圖像中的面部樣本位置的圖像位置，以及根據(jù)關(guān)聯(lián)的強(qiáng)度信息確定第一光線。

根據(jù)一個實(shí)施例，至少一個人臉特定特征包括但不限于以下至少一個：通用3D面部模型、面部至少一部分的幾何結(jié)構(gòu)、面部至少一部分的材質(zhì)屬性、面部至少一部分的顏色、至少一部分的輻射轉(zhuǎn)移特性、至少一部分的反射特性。

根據(jù)一個實(shí)施例，確定至少一個第一光線包括確定所述至少一個第一光線的至少一個特征，其中所述至少一個第一光線的至少一個特征包括強(qiáng)度、波長和方向中的至少一個。

根據(jù)一個實(shí)施例，確定至少一個第一光線包括確定至少一個光源發(fā)射、反射或折射至少一個第一光線的至少一部分的至少一個特征。其中，所述至少一個光源的至少一個特征包括以下至少一個：類型、強(qiáng)度、波長、方向、距離、位置、尺寸、面積、形狀、球面諧波系數(shù)、小波基系數(shù)和von Mises-Fisher分布的混合物系數(shù)。

根據(jù)一個方面，通過確定的至少一第一光線，系統(tǒng)將虛擬對象疊加到由顯示設(shè)備呈現(xiàn)的真實(shí)環(huán)境視圖中。

根據(jù)另一方面，專利描述的處理系統(tǒng)包含在諸如智能手機(jī)或平面電腦這樣的移動設(shè)備和/或適于與移動設(shè)備通信的服務(wù)器計算機(jī)中。處理系統(tǒng)可以僅包括在所述設(shè)備中的一個，或者可以是一個通過網(wǎng)絡(luò)通信的分布式系統(tǒng)。

根據(jù)一個實(shí)施例，第一攝像頭與顯示組件相關(guān)聯(lián)，使得當(dāng)人臉面對顯示組件時，第一攝像頭捕捉到人臉的至少一部分。

根據(jù)一個實(shí)施例，系統(tǒng)包括移動裝置，移動裝置包括第一攝像頭和所述顯示組件，其中所述顯示組件的法線和第一攝像頭的光軸基本朝向相同的方向?；鞠嗤姆较蛞馕吨较蚪侵挥形⑿〉钠睿绮怀^5-10度。

簡單來說，蘋果提出的方法是利用iPhone或iPad的前置攝像頭來捕獲存用戶的面部，并相應(yīng)地估計環(huán)境光，然后確定的信息來提供針對虛擬對象的照明。

蘋果指出這種解決方案存在一系列的優(yōu)點(diǎn)：可用的用戶面部，所以不需要添加額外的幾何圖形，同時不需要繁瑣的設(shè)置；人臉在幾何和材質(zhì)上的變化范圍有限，所以允許基于有效的假設(shè)和限制進(jìn)行某種預(yù)處理和優(yōu)化算法，從而更快、更有效地運(yùn)行；只要用戶面對或看著AR視圖，亦即面對前置攝像頭，用戶的面部總是可用，所以可以支持動態(tài)變化的照明。

相關(guān)專利：Method And System For Representing A Virtual Object In A View Of A Real Environment

名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請最初在2020年8月提交，并在日前由美國專利商標(biāo)局公布。

原文鏈接：https://yivian.com/news/80202.html