當(dāng)AI機(jī)器人穿過(guò)房間時(shí)，它會(huì)經(jīng)過(guò)兩個(gè)沙發(fā)，一張咖啡桌和數(shù)張棕褐色椅子。在地毯打轉(zhuǎn)一番后，它朝研究人員所要求的鑰匙徑直走去。

但這實(shí)際上是Replica項(xiàng)目的一次數(shù)字模擬。對(duì)于這項(xiàng)研究，F(xiàn)acebook Reality Labs（FRL）針對(duì)18個(gè)樣本空間創(chuàng)建了照片級(jí)真實(shí)感的副本，如辦公室和雙層房屋。

為了幫助AI研究人員向機(jī)器提供真實(shí)物理世界的感知，F(xiàn)RL開(kāi)發(fā)了所述的虛擬空間 ，而這是開(kāi)發(fā)出更強(qiáng)大的現(xiàn)實(shí)助手，以及下一代增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)體驗(yàn)的重要一步。Facebook的想法是，如果研究人員能夠訓(xùn)練人工智能系統(tǒng)在一個(gè)逼真的數(shù)字客廳中定位一組虛擬鑰匙，機(jī)器人最終將能夠在真實(shí)房間中定位真實(shí)的鑰匙。如果AR/VR應(yīng)用程序可以學(xué)習(xí)如何與不同的物理環(huán)境進(jìn)行交互，未來(lái)我們將能夠通過(guò)照片級(jí)真實(shí)的數(shù)字化身來(lái)參加遠(yuǎn)方親人的生日聚會(huì)。

研究人員相信，如果模擬環(huán)境能夠捕捉到細(xì)微的細(xì)節(jié)（如鏡面反射和地毯紋理），他們將能最大化訓(xùn)練效果。這正式FRL開(kāi)展Replica項(xiàng)目的原因。

這個(gè)視頻顯示了Replica模擬與真實(shí)世界空間（左邊是真實(shí)世界；右邊是數(shù)字副本）

“Relica數(shù)據(jù)集為真實(shí)空間的三維重建真實(shí)性和質(zhì)量設(shè)定了新標(biāo)準(zhǔn)。”FRL科學(xué)家朱利安·斯特拉布（Julian Straub）如是說(shuō)道。斯特拉布曾在德國(guó)研讀了電子工程學(xué)，并在麻省理工學(xué)院獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，然后加入FRL并專(zhuān)攻機(jī)器感知。首席科學(xué)家邁克爾·亞伯拉什則指出，F(xiàn)RL的使命是開(kāi)發(fā)幫助AR和VR成為下一個(gè)計(jì)算平臺(tái)所需的技術(shù)。諸如Replica這樣的項(xiàng)目將在實(shí)現(xiàn)這一愿景的過(guò)程中發(fā)揮重要作用。

這是FRL創(chuàng)建的一個(gè)數(shù)字Replica環(huán)境

Replica精確性和保真度得益于精心設(shè)計(jì)的攝像裝置，深度捕獲系統(tǒng)，SLAM系統(tǒng)，以及密集重建系統(tǒng)的有機(jī)組合。利用以紅外線投射到場(chǎng)景中的點(diǎn)，F(xiàn)RL的高精度深度捕獲系統(tǒng)能夠捕獲桌子和椅子等大型物體和遙控器等小型物體的精確形狀。

定制的SLAM和密集重建系統(tǒng)可以將攝像裝置捕獲的原始視頻流轉(zhuǎn)換為真實(shí)空間的副本，而即使是最為細(xì)心的用戶(hù)都難以區(qū)分真假。（更多細(xì)節(jié)請(qǐng)參閱Replica數(shù)據(jù)集白皮書(shū)，以及團(tuán)隊(duì)于2018 SIGGRAPH大會(huì)的演講介紹 ）。

研究人員在陌生的Relica環(huán)境生成了一個(gè)虛擬機(jī)器人。位置隨機(jī)（藍(lán)點(diǎn)），然后它將要導(dǎo)航到目的地（紅點(diǎn)）。研究人員向機(jī)器人給出相對(duì)于其起始位置的指令，例如“向北10米和向西15米” ，但不提供地圖。機(jī)器人必須僅利用感官輸入（常規(guī)RGB攝像頭，某些情況包括深度攝像頭）來(lái)完成目標(biāo)。

1. 一小時(shí)內(nèi)練習(xí)數(shù)百萬(wàn)次任務(wù)

Replica可以加載到AI Habitat。AI Habitat由Facebook AI開(kāi)發(fā)，是一個(gè)用于具現(xiàn)AI研究的全新開(kāi)源平臺(tái)，同時(shí)旨在成為研究人員在模擬空間中訓(xùn)練和測(cè)試AI機(jī)器人的最強(qiáng)大和最靈活方式。AI Habitat允許研究人員將機(jī)器人置放于Replica環(huán)境中，并學(xué)習(xí)如何處理不同的任務(wù)，比方說(shuō)“看看我的筆記本電腦是否放在廚房的桌面上”。這種任務(wù)對(duì)于人類(lèi)來(lái)說(shuō)非常簡(jiǎn)單，但機(jī)器人則不然，因?yàn)樗鼈儽仨氉R(shí)別對(duì)象，理解語(yǔ)言，并有效地進(jìn)行導(dǎo)航。今天的機(jī)器人（如智能掃地機(jī)）可以響應(yīng)命令，但無(wú)法像人類(lèi)那樣理解和適應(yīng)周?chē)氖澜纭I Habitat可以幫助研究人員開(kāi)發(fā)能夠理解物理世界的機(jī)器人。但它同時(shí)是創(chuàng)造下一代AR體驗(yàn)的重要研究工具。如果我們能夠訓(xùn)練AI系統(tǒng)理解你周?chē)奈锢砜臻g，未來(lái)有一天我們或許可以將它融入至AR眼鏡。例如，它可以將你奶奶的數(shù)字副本逼真地置放于沙發(fā)之上，或者當(dāng)你走過(guò)餐館或商店時(shí)顯示相關(guān)的用戶(hù)評(píng)價(jià)。

Replica提供了逼真的3D數(shù)據(jù)，而AI Habitat則為模擬提供了速度和靈活度。盡管其他模擬引擎通常能夠以每秒50幀到100幀的速度運(yùn)行，但AI Habitat的運(yùn)行速度超過(guò)每秒10000幀（單個(gè)GPU的多進(jìn)程）。這使得研究人員能夠更加快速地測(cè)試機(jī)器人。如果說(shuō)另一個(gè)模擬器需要運(yùn)行數(shù)個(gè)月的時(shí)間，Habitat只需數(shù)小時(shí)即可完成。Facebook AI研究實(shí)習(xí)生、佐治亞理工學(xué)院博士后埃里克·韋杰曼斯（Erik Wijmans），以及AI Resident巴瓦納·杰恩（Bhavana Jain）利用這個(gè)系統(tǒng)來(lái)進(jìn)行最先進(jìn)的研究，用超過(guò)10億幀的體驗(yàn)來(lái)訓(xùn)練機(jī)器人。虛擬機(jī)器人同時(shí)可以不斷犯錯(cuò)，但無(wú)需擔(dān)心損壞的風(fēng)險(xiǎn)，如撞墻摔倒等等。

Facebook現(xiàn)在已經(jīng)開(kāi)源了AI Habitat并發(fā)布Replica數(shù)據(jù)集，所以社區(qū)中的任何人都能夠以其作為基礎(chǔ)進(jìn)行探索，嘗試新方法，比較結(jié)果并從其他人的研究中學(xué)習(xí)。（關(guān)于Habitat的技術(shù)細(xì)節(jié)請(qǐng)?jiān)L問(wèn)這個(gè)頁(yè)面，Replica環(huán)境則托管至GitHub。）。Facebook表示，不同企業(yè)和組織的研究人員之間的信息公開(kāi)共享是自然語(yǔ)言理解，計(jì)算機(jī)視覺(jué)等人工智能技術(shù)進(jìn)步的關(guān)鍵，而Facebook AI和FRL相信這對(duì)AI Habitat和Replica而言同樣如此。

為了建立可供所述領(lǐng)域中的所有人使用的性能基準(zhǔn)，F(xiàn)acebook AI最近組織了一次Habitat Challenge挑戰(zhàn)賽，邀請(qǐng)來(lái)自AI社區(qū)的工程師和研究人員為機(jī)器人完成特定導(dǎo)航任務(wù)尋找最佳的方式。

Replica數(shù)據(jù)集數(shù)能夠識(shí)別并標(biāo)記在虛擬空間中確定的對(duì)象，為不同類(lèi)別的對(duì)象分配不同的顏色，如“椅子”或“墻壁”。AI研究人員可以利用這種“語(yǔ)義分段”數(shù)據(jù)來(lái)開(kāi)發(fā)出更智能的系統(tǒng)。

Habitat團(tuán)隊(duì)負(fù)責(zé)人、Facebook人工智能研究科學(xué)家兼喬治亞理工學(xué)院教授領(lǐng)杜魯弗·巴特拉（Dhruv Batra）認(rèn)為，這種技術(shù)有朝一日可以幫助機(jī)器人學(xué)會(huì)如何智能地適應(yīng)現(xiàn)實(shí)世界，不再僅僅局限于我們的智能手機(jī)或筆記本電腦。他與同事將其描述為從“互聯(lián)網(wǎng)人工智能”變成“具身化人工智能”。這意味著在訓(xùn)練機(jī)器不僅要利用靜態(tài)數(shù)據(jù)集（如汽車(chē)照片），同時(shí)需要采用交互式環(huán)境（如充滿(mǎn)模擬汽車(chē)的模擬停車(chē)場(chǎng)）。巴特拉和眾多AI研究人員都認(rèn)為，這種交互式對(duì)于構(gòu)建能夠在物理世界和數(shù)字世界中幫助我們的全新智能工具浪潮而言非常有必要。

2. 打造能夠創(chuàng)建“社交臨場(chǎng)感”的工具

利用AI Habitat等開(kāi)放式平臺(tái)模擬來(lái)訓(xùn)練系統(tǒng)，研究人員可以在具身化人工智能技術(shù)方面取得進(jìn)展。例如，巴特拉認(rèn)為未來(lái)的工具可以幫助視障人士更好地導(dǎo)航周遭環(huán)境。

FRL研發(fā)總監(jiān)理查德·紐科姆（Richard Newcombe）指出，其中一個(gè)令人興奮不已的應(yīng)用是將“社交臨場(chǎng)感”帶到物理世界。今天的虛擬現(xiàn)實(shí)能夠允許用戶(hù)與數(shù)百公里之外的朋友共享虛擬空間。紐科姆正致力于通過(guò)通過(guò)AR眼鏡為體驗(yàn)帶來(lái)進(jìn)一步的逼真感，并在日常生活中實(shí)現(xiàn)社交臨場(chǎng)感。有了這項(xiàng)技術(shù)，朋友和家人在未來(lái)將能以萊雅公主般的逼真全息圖出現(xiàn)在你身邊。為了創(chuàng)造這種社交臨場(chǎng)感，AI系統(tǒng)需要支持?jǐn)?shù)字化身自然而逼真地來(lái)與物理空間進(jìn)行交互，或者能夠?qū)⒛銈魉椭烈粋€(gè)仿如真實(shí)的模擬環(huán)境。

紐科姆解釋說(shuō)：“就像FRL在研究虛擬人類(lèi)時(shí)所實(shí)現(xiàn)的人類(lèi)臨場(chǎng)感捕獲與傳輸一樣，我們的重建研究能夠?qū)崿F(xiàn)仿佛置身于一個(gè)地方的感覺(jué)，如辦公室，家里，商店，博物館或咖啡店。”這位Facebook的研究人員熱衷于開(kāi)發(fā)能夠感知和理解世界情景的技術(shù)。他16歲就開(kāi)始涉足這個(gè)領(lǐng)域，并在埃塞克斯大學(xué)攻讀機(jī)器人，計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)，并于倫敦帝國(guó)理工學(xué)院獲得了博士學(xué)位。他于四年前加入Facebook，然后開(kāi)始領(lǐng)先致力于實(shí)現(xiàn)AI和XR應(yīng)用程序機(jī)器感知未來(lái)的研究和孵化團(tuán)隊(duì)。Replica的面世是實(shí)現(xiàn)這一目標(biāo)的重要一步。

另一個(gè)Replica環(huán)境能夠捕獲諸如電源插座和書(shū)柜玻璃門(mén)背后的物體等細(xì)節(jié)。

3. 一種負(fù)責(zé)任的開(kāi)源方式

打造諸如社交臨場(chǎng)感之類(lèi)的體驗(yàn)將需要硬件方面的突破，以及Replica和AI Habitat等訓(xùn)練資源的持續(xù)進(jìn)步。但紐科姆指出，這同時(shí)存在重要的隱私和安全考量。

他指出：“我們必須孜孜不倦的地生成重建，場(chǎng)景理解，以及AI推理系統(tǒng)。”。研究人員和工程師，以及外部專(zhuān)家和公眾需要通過(guò)合作來(lái)解決變革性技術(shù)對(duì)社會(huì)和個(gè)人的影響。要做到這一點(diǎn)，企業(yè)必須保持公開(kāi)透明的態(tài)度，并分享最新的進(jìn)展。在F8大會(huì)，F(xiàn)acebook介紹了最近關(guān)于道德設(shè)計(jì)和解決偏見(jiàn)的研究，而這對(duì)于AR體驗(yàn)和具身化AI的研究進(jìn)展非常重要。

對(duì)于Replica掃描，研究人員將匿名數(shù)據(jù)，刪除可識(shí)別個(gè)人的任何詳細(xì)信息（例如家庭照片）。在構(gòu)建這種3D重建技術(shù)時(shí)，F(xiàn)RL研究人員同時(shí)需要確保這是一個(gè)強(qiáng)大的安全系統(tǒng)。例如，數(shù)據(jù)安全地存儲(chǔ)在服務(wù)器中，而且只有有限數(shù)量的研究人員能夠訪問(wèn)。另外，團(tuán)隊(duì)定期與隱私，安全和系統(tǒng)方面的專(zhuān)家進(jìn)行聯(lián)合審查，從而確保他們遵循相關(guān)安全協(xié)議并實(shí)施最新和最嚴(yán)格的保障措施。只有在完成所述步驟后，他們才會(huì)向更廣泛的研究社區(qū)提供掃描數(shù)據(jù)。

在AR社交臨場(chǎng)感和高級(jí)AI助手等技術(shù)成為現(xiàn)實(shí)之前，我們需要更多的技術(shù)突破。例如，F(xiàn)acebook AI研究人員正在探索通過(guò)AI Habitat構(gòu)建逼真物理建模的方法，從而幫助AI機(jī)器人理解當(dāng)它碰到虛擬桌面上的虛擬玻璃杯時(shí)會(huì)發(fā)生什么情況。隨著這個(gè)項(xiàng)目的開(kāi)展，Replica和AI Habitat的研究人員相信它們將在Facebook的未來(lái)中發(fā)揮重要作用。通過(guò)實(shí)現(xiàn)下一代具身化AI，這種技術(shù)將能釋放AR眼鏡的潛力，并幫助人們更好地理解周遭的世界，同時(shí)以強(qiáng)大的新方式幫助人類(lèi)進(jìn)行溝通和協(xié)作。

紐科姆最后說(shuō)道：“通過(guò)將AR眼鏡作為一個(gè)平臺(tái)，社交臨場(chǎng)和AI助手將能幫助你實(shí)現(xiàn)最高的效率，并為你呈現(xiàn)你所希望看到的世界。”

原文鏈接：https://yivian.com/news/62369.html

來(lái)源：映維網(wǎng)