來源：映維網(wǎng)  作者 廣州客

在今天凌晨的Facebook Connect 2020大會上，F(xiàn)acebook今天正式發(fā)布了Project Aria——這個全新的研究項目將幫助Facebook制造第一代可穿戴增強現(xiàn)實設備。

1. 驚人的挑戰(zhàn)

想象一下，一副眼鏡能夠在物理世界的視圖之上疊加一層3D數(shù)字內(nèi)容，并在其中包含有意義的情景相關(guān)信息。這樣的設備可以幫助我們更好地完成日常任務，比如尋找鑰匙，在一個陌生城市中導航，或者記錄一個感人瞬間；但它同時可以為我們帶來一種全新的世界旅行方式。

智能手機是令人驚嘆的設備，而且它們一直在變得越來越好。但Facebook Reality Labs設想了這樣一個時代：我們可以享受到聯(lián)網(wǎng)的所有優(yōu)點（以及更多），但不必再像以往那樣低頭查看設備。想象一下，在與遠方朋友通訊時，你是與栩栩如生的虛擬化身對話；想象一下，一個足夠智能的數(shù)字助理可以檢測道路危險，在商務會議中提供統(tǒng)計數(shù)據(jù)，甚至可以幫助你在嘈雜的環(huán)境中聽到自己想聽的聲音。在這個世界里，設備本身完全消融在日常生活之中。

當然，這其中有很多依然是屬于科幻小說的描述。要真正制造出足夠靈活并適應大多數(shù)臉型的眼鏡，并同時開發(fā)出支持它們的軟件，我們需要數(shù)個迭代的突破，比如增強視聽輸入的系統(tǒng)，情境化的人工智能，以及一個能夠容納所有一切的輕量級鏡架。這種增強現(xiàn)實需要計算技術(shù)的根本性進步，一種能夠反映從圖書館和固定電話，再到個人PC和智能手機的飛躍的突破。

2. 一種視覺搜索工具

Project Aria正是朝著所述方向邁出的一步。Facebook已經(jīng)構(gòu)建了一款可以幫助研究人員理解構(gòu)建目標AR眼鏡所需的軟件和硬件的研究設備。Project Aria眼鏡不是消費品，也不是原型品。它們不會在鏡片顯示任何信息，研究被試無法查看或收聽設備捕捉到的原始數(shù)據(jù)。作為一種研究設備，所述的眼鏡設備將使用傳感器從佩戴者角度捕捉視頻和音頻，以及眼球運動和位置數(shù)據(jù)，從而幫助工程師和程序員理解AR在實踐中的運作。眼鏡將加密、壓縮和存儲數(shù)據(jù)，并上傳到指定的后端存儲系統(tǒng)。

從概念到實施，Project Aria的設計都是為了幫助團隊安全而負責任地進行創(chuàng)新。所以，為了制定必要的保障措施和社會規(guī)范來管理AR眼鏡和未來可穿戴設備的使用，F(xiàn)acebook Reality Labs正在收集研究被試，以及在公共場合遇到佩戴所述設備的人員的反饋。為了更好地理解這項技術(shù)如何幫助身體能力各異的人群，團隊正與卡內(nèi)基梅隆大學的認知輔助實驗室（Cognitive Assistance Laboratory）開展一個試點項目。雙方將構(gòu)建博物館和機場的3D地圖，并將其用于一系列的用例，如幫助視力受損人群更好地感知周圍環(huán)境。另外，研究收集的數(shù)據(jù)將由卡內(nèi)基梅隆大學保存。

Facebook Reality Labs指出，公司不會向公眾開放這款設備，亦不會對市場出售。從今年9月開始，它將提供給美國特定的Facebook員工和簽約者。作為說明，有關(guān)人員將接受過“在何時何地可以使用所述設備，以及于何時何地不應使用所述設備”的培訓。所述設備在家中，F(xiàn)acebook園區(qū)（重新開放之后）和公共場合收集到的數(shù)據(jù)將用于支持頭部追蹤，眼動追蹤和音頻算法的開發(fā)，從而有朝一日實現(xiàn)AR眼鏡的夢想。Project Aria同時將提供構(gòu)建LiveMaps所需的第一人稱透視數(shù)據(jù)，以及培訓日后可以幫助人們感知和理解世界的個性化數(shù)字助手。因為這個最初的數(shù)據(jù)集必須與盡可能多的人相關(guān)，F(xiàn)acebook正在邀請不同性別、身高、體型、種族的人群參與研究計劃。

3. 隱私至上

Facebook Reality Labs再次強調(diào)了團隊再保護人們隱私方面的措施。公司已經(jīng)在fb.com/projectaria頁面編寫了相關(guān)的問題回答，主要包括：

3.1 于何時何地采集數(shù)據(jù)

第一批研究參與者將限于大約100名Facebook員工和簽約者，地點主要包括舊金山灣區(qū)和西雅圖。所有被試將首先接受關(guān)于何時何地收集數(shù)據(jù)的培訓。被試無法訪問收集的數(shù)據(jù)。在采集數(shù)據(jù)時，所有設備都將突出顯示一道白光。所有設備都提供一個物理按鈕，按下按鈕后將停止收集數(shù)據(jù)。Project Aria的研究被試將在Facebook園區(qū)、私人住宅和公共場所采集數(shù)據(jù)。未經(jīng)商店、飯店等場所的書面同意，被試將不得在相關(guān)場所采集數(shù)據(jù)。洗手間、祈禱室、更衣室等敏感區(qū)域，或敏感會議和其他私人場合都不允許錄制數(shù)據(jù)，而且只有在所有家庭成員同意的情況下，被試才能在家中錄制數(shù)據(jù)。

3.2 透明數(shù)據(jù)采集

當在公共場合佩戴研究設備時，每名被試都需要穿戴特定的服飾，從而表明其屬于Project Aria研究的參與被試。相關(guān)的服飾同時會包括一個網(wǎng)站地址，以便周遭人員可以從中了解更多關(guān)于所述項目及其研究目的信息。隨著時間的推移，F(xiàn)acebook Reality Labs將繼續(xù)評估相關(guān)的外部指標，從而確保項目的透明度。被試可以隨時關(guān)閉設備，停止錄制或刪除數(shù)據(jù)段。具體來說，被試可以通過智能手機端的配套應用程序來操作相應的時間戳。但同樣，被試無法訪問原始數(shù)據(jù)。配套應用程序同時將包括初始培訓課程的說明，比方說如何刪除錄制數(shù)據(jù)，于何時何地及如何以合適的方式采集數(shù)據(jù)和其他技術(shù)信息。

3.3 數(shù)據(jù)隱私保護

與任何地圖數(shù)據(jù)一樣，數(shù)據(jù)的安全性至關(guān)重要。Facebook將通過一個加密的安全系統(tǒng)將數(shù)據(jù)從設備上傳到Facebook后端存儲系統(tǒng)，從而保證Project Aria數(shù)據(jù)的安全。Facebook將安全地將數(shù)據(jù)和數(shù)據(jù)衍生地圖存儲在一個單獨的指定存儲空間中，并且只有獲得批準的研究人員能夠訪問。一旦上傳，數(shù)據(jù)將隔離三天，這意味著研究人員在所述時間段內(nèi)無法訪問數(shù)據(jù)。在隔離期內(nèi)，被試可以查看低分辨率的縮略圖，并從系統(tǒng)中刪除錄制的數(shù)據(jù)段。在提供給研究人員之前，于公共場所收集到的任何數(shù)據(jù)數(shù)據(jù)都將自動模糊臉部和車牌。設備不使用面部識別技術(shù)，F(xiàn)acebook同時不會使用所述數(shù)據(jù)來驅(qū)動Facebook產(chǎn)品的廣告。

所有隱私和數(shù)據(jù)保護控制措施都是在隱私專家的參與下制定，所述專家包括猶他州立大學發(fā)展與機遇中心（Center for Growth and Opportunity）的高級研究院士伊萊·杜拉多（Eli Dourado），以及美國信息技術(shù)與創(chuàng)新基金會（Information Technology and Innovation Foundation）的數(shù)據(jù)創(chuàng)新中心主任丹尼爾·卡斯特羅（Daniel Castro）。

在繼續(xù)探索增強現(xiàn)實的可能性時，F(xiàn)acebook承諾將繼續(xù)與隱私專家接觸并完善相關(guān)的條款。對這項技術(shù)了解得越多，團隊就越能預見問題并提前解決它們。Facebook Reality Labs今天收集的任何數(shù)據(jù)都是為了在未來允許沉浸式硬件以最少的干擾性進行數(shù)據(jù)捕獲，并確保收集的任何數(shù)據(jù)都能提供盡可能多的用戶價值。

團隊表示：“我們將繼續(xù)堅持負責任的創(chuàng)新原則，而最重要的是：始終以人為本。”

4. 技術(shù)亮點

團隊一開始面臨的最大挑戰(zhàn)是，尋找一種能夠利用現(xiàn)有傳感器，并將它們嵌入至被試可以實際佩戴的眼鏡之中的方法。Project Aria眼鏡的獨特之處在于，它們不僅擁有常見于VR頭顯的空間感知傳感器，同時可以通過GPS計算位置，拍攝高分辨率圖片，并捕捉多聲道音頻和眼動圖像。

作為一種研究設備，當前的傳感器配置并不是一成不變。團隊特別感興趣的是，是否能夠以一種高能效的方式來將一組傳感器應用于多個任務。在理想情況下，這樣的產(chǎn)品能夠同時使用所有的傳感器來更好地理解你的意圖，并在需要時提供信息。如果你在一家雜貨店，前置攝像頭可能會掃描整個房間并識別出店里的物品，而眼動追蹤攝像頭則會識別你的目光落在何種水果之上，然后顯示功能將彈出與所述水果相關(guān)的標識、價格、營養(yǎng)價值和潛在配方等。

這只是一個例子，但我們很容易想象這樣的產(chǎn)品將如何幫助存在精神障礙或身體殘疾的人士，患有記憶問題的人士，存在語言障礙或技能障礙的人士，又或者只是嘗試在一個陌生城市中導航的人員。只要在適當?shù)臅r候提供一點背景和信息，世界就會變得不同。

Facebook Reality Labs同時在探索如何使用設備的頭部追蹤傳感器，并將虛擬對象添加到物理環(huán)境中。所以，與其購買一臺實體電視，我們倒不如利用AR魔法創(chuàng)造出一臺數(shù)字電視，并將它放到任何位置。從長遠來看，為了降低未來眼鏡的整體功率和熱需求，并減少對圖像傳感的需求，F(xiàn)acebook Reality Labs將使用Project Aria的數(shù)據(jù)，并探索是否能夠利用諸如嚴格Tight Learned Inertial Odometry等技術(shù)。

5. 構(gòu)建一種全新的地圖

所有這些在技術(shù)都非常具有挑戰(zhàn)性，但當你添加一個虛擬對象并希望它在你離開后保持固定不變時，研究課題會變得更加有趣。這是因為團隊需要一個框架來存儲和索引你的虛擬對象。如果你希望和其他人共享虛擬對象，你將需要一個共同的坐標系。如果你希望和一個住在另一個城市的朋友的虛擬化身共享空間，你不僅需要精確的位置和方位，而且需要理解周圍空間的真實世界對象，這樣虛擬化身就不會被一張桌子切成兩半，而你可以擺出自然的姿勢，比如坐在椅子之上。

為了支持AR眼鏡確定自己在空間中的位置，有效地看到和理解你周圍的環(huán)境，它們需要一個虛擬的三維地圖來描繪周遭的一切。但從零開始實時掃描和重建一個空間的功耗太高，所以AR眼鏡需要依賴于現(xiàn)有的地圖，然后實時進行更新。

Facebook在Oculus Connect 6分享了解決所述問題的方法：LiveMaps。通過使用計算機視覺來構(gòu)建一個與你周遭世界相關(guān)的虛擬三維地圖，LiveMaps能夠支持未來的眼鏡有效地混合虛擬世界和現(xiàn)實世界。AR眼鏡屆時可以從3D地圖中下載最新數(shù)據(jù)，然后只需檢測變化（如新的街道名稱或新停車場的外觀），并用這些變化來更新3D地圖。Project Aria設備正在測試這個流程。

6. 展望未來

將AR設備和LiveMaps的愿景轉(zhuǎn)化為現(xiàn)實是FRL Research最具雄心和具有深遠意義的目標之一。團隊設想了這樣一個世界：LiveMaps能夠支持Facebook的AR產(chǎn)品能以各種有意義的方式來幫助人們彼此，及與世界建立聯(lián)結(jié)。

從為殘疾人提供直觀的導航支持，到與居住在另一個國家的姐妹或父母的逼真化身共享空間，再到加強工人培訓并幫助人們在嘈雜的環(huán)境中提高聽感（特別是因為年齡增長而造成的聽力衰退），未來各行各業(yè)的人們將能夠以意義深遠的方式使用增強現(xiàn)實。

這是一個設備越發(fā)消融于幕后，我們能夠花更多時間與家人和朋友共度美好時光的時代，機會將由本人的興趣決定，而不再受地理位置或環(huán)境的制約。在這個未來世界里，先進的臨場感將允許人們能夠以今天不可能的方式一起工作，并在娛樂、教育和其他領域迸發(fā)出一系列不同的創(chuàng)新。

這是一個我們所有人都期待的世界。

原文鏈接：https://yivian.com/news/78112.html