2016年。微軟研究院發(fā)布了一條有關(guān)其研發(fā)的Holoportation技術(shù)的視頻，該技術(shù)可以通過(guò)一套系統(tǒng)讓兩個(gè)人跨越空間的障礙在同一個(gè)空間中進(jìn)行面對(duì)面的交流，出現(xiàn)在你面前將是一個(gè)立體的活生生的人而不是視頻通話那樣只是一幅會(huì)動(dòng)的畫面。

Holoportation的核心技術(shù)在于對(duì)真人進(jìn)行較為精細(xì)的實(shí)時(shí)三維重建同時(shí)進(jìn)行海量的數(shù)據(jù)傳輸，這不僅是一項(xiàng)先進(jìn)的MR技術(shù)，也是影視行業(yè)所夢(mèng)寐以求的，微軟研究院研發(fā)的這套系統(tǒng)據(jù)稱被大量應(yīng)用于影視行業(yè)，整套系統(tǒng)的研發(fā)成本更是超過(guò)百萬(wàn)美金。

時(shí)隔兩年，微軟研究院又在其官方網(wǎng)站上發(fā)布了一項(xiàng)名為Remixed Reality的新技術(shù)。

什么是Remixed Reality?這是一項(xiàng)結(jié)合了AR與VR的優(yōu)點(diǎn)用于改進(jìn)MR體驗(yàn)的技術(shù)。在上一代的Holoportation中，你只能觀看和縮放眼前看到的物體，但是通過(guò)Remixed Reality技術(shù)，你將可以像使用AR設(shè)備一樣看到周圍的真實(shí)世界，并像在VR中一樣對(duì)它們做出實(shí)時(shí)改變。

使用Remixed Reality技術(shù)時(shí)，用戶將不再只能看到另一個(gè)人及其周圍非常有限的空間，取而代之的是由8臺(tái)Kinect完成的一個(gè)完整房間的三維重建圖像。用戶可以通過(guò)VR頭顯來(lái)以自身的視角觀察三維重建而成的房間，因?yàn)槿S重建是實(shí)時(shí)的，所以用戶可以看到任何進(jìn)出房間的人或者是家具以及其他房間環(huán)境的變化，甚至可以與房間內(nèi)的任何實(shí)物進(jìn)行互動(dòng)。這也給予了用戶全新的能力——在觀看真實(shí)世界的同時(shí)對(duì)它進(jìn)行視覺(jué)的改變。

在這項(xiàng)技術(shù)的宣傳視頻中，我們可以看到相比兩年前的Holoportation，Remixed Reality賦予了用戶非常多的新能力。Remixed Reality給與用戶的能力可以分為四個(gè)大類，分別為操縱空間、改變外觀、控制時(shí)間與改變視點(diǎn)。

操縱空間：

復(fù)制

移動(dòng)

擦除

改變外觀：

改變物體顏色

改變房間的光線

物體描邊

改變畫面風(fēng)格

控制時(shí)間：

暫停

播放與倒放

改變視角：

讓你擁有上帝視角

畫中畫功能

改變投影方式

如此酷炫的功能是如何做到的呢？

微軟研究院的研究人員開發(fā)的這套R(shí)oomAlive系統(tǒng)主要分為兩部分：數(shù)據(jù)采集與三維重建系統(tǒng)、顯示與互動(dòng)系統(tǒng)。8個(gè)Kinect V2為服務(wù)器提供大小約為4m×5m×2.5m的房間的深度信息以及色彩信息，服務(wù)器將這些信息進(jìn)行壓縮，并傳輸?shù)揭慌_(tái)連接了VR頭顯的PC上，在這臺(tái)PC上完成信息解壓縮與三維重建。顯示與互動(dòng)則是通過(guò)Unity與SteamVR完成的。

8臺(tái)Kinect V2提供的數(shù)據(jù)量約為400Mb/s，在正常局域網(wǎng)（1000Mb/s）的帶寬范圍內(nèi)，這意味著如果擁有更大的帶寬的話，你可以繼續(xù)增加Kinect的數(shù)量以增加數(shù)據(jù)采集的區(qū)域或是用來(lái)提高精度。Kinect的校準(zhǔn)則是通過(guò)投影儀投影灰度圖來(lái)實(shí)現(xiàn)的，其中用到了ICP（Iterative Closest Point）算法。

客戶端的模型以每秒30幀的頻率進(jìn)行更新，但是每幀的模型數(shù)據(jù)之間沒(méi)有聯(lián)系，這就意味著如果你修改了其中某一幀的模型數(shù)據(jù)，下一幀中你的修改就會(huì)消失。如果要使模型的改動(dòng)不會(huì)消失，則意味著你需要在幀與幀之間將三維模型進(jìn)行匹配對(duì)齊，經(jīng)過(guò)Kinect重建的三維模型有200多萬(wàn)個(gè)面，進(jìn)行匹配算法根本無(wú)法實(shí)時(shí)完成。

為了能夠與三維重建的模型進(jìn)行實(shí)時(shí)交互并對(duì)模型進(jìn)行修改，研究人員下了一番苦功。他們?cè)诔绦蛑屑尤肓擞?35萬(wàn)個(gè)三維像素組成的網(wǎng)格模型（150×150×60），每個(gè)三維像素代表了房間中大約3cm見(jiàn)方的空間。三維重建的模型與網(wǎng)格模型之間有一種對(duì)應(yīng)關(guān)系，使得模型的變動(dòng)得以在幀與幀之間以較小的代價(jià)傳遞下去。如此一來(lái)我們就可以對(duì)三維模型進(jìn)行擦除、著色等不同的操作了。

擁有了這樣的能力，Remixed Reality自然就擁有了更加豐富的玩法。你可以重播一整場(chǎng)會(huì)議，并挑選自己喜歡的位置坐下，也可以利用視點(diǎn)的轉(zhuǎn)換來(lái)自己和自己玩一場(chǎng)躲避球的游戲。運(yùn)動(dòng)員們則可以利用這一系統(tǒng)來(lái)全方位的觀察自己某一時(shí)刻的姿勢(shì)是否正確并進(jìn)行糾正，你也可以利用這套系統(tǒng)來(lái)剔除場(chǎng)景中的一些干擾物或者是人。這些是都是之前HoloLens以及Magic Leap One所無(wú)法做到的。

微軟的研究人員認(rèn)為，這整套系統(tǒng)可以讓用戶體驗(yàn)到不同程度的虛擬，從像HoloLens那樣的完全真實(shí)的周圍環(huán)境到VR那樣完全虛擬的環(huán)境，Remixed Reality都可以做到。雖然目前人們可以修改的只是一個(gè)整體的三維模型，無(wú)法區(qū)分其中的某個(gè)物體，但在后續(xù)的工作中，他們將給這套系統(tǒng)加入場(chǎng)景理解系統(tǒng)，讓其能夠像Semantic Paintbrush那樣將場(chǎng)景中的不同物體區(qū)分開來(lái)。

除了改變?nèi)藗兊囊曈X(jué)感知，未來(lái)微軟研究員們還計(jì)劃讓這套系統(tǒng)能夠改變用戶的物理感知與時(shí)間感知，從而讓用戶能夠體驗(yàn)零重力的環(huán)境或者是完全慢放的世界。這樣的系統(tǒng)可以幫助進(jìn)行很多心理學(xué)的實(shí)驗(yàn)，比如讓用戶體驗(yàn)靈魂出竅或者以他人的視角來(lái)觀察世界。你也可能體會(huì)到生活在一個(gè)上下顛倒的世界是什么樣的，擁有透視能力又是一種什么樣的體驗(yàn)。無(wú)論如何，Remixed Reality跨出了控制我們看到的事物的第一步，并且讓我們能夠自由選擇我們希望的沉浸程度。

Remixed Reality雖然極大的彌補(bǔ)了MR存在的一些不足，并擁有很大的想象空間，但也存在一些不可忽視的缺陷。

第一個(gè)問(wèn)題是最終經(jīng)過(guò)三維重建的模型表面貼圖的分辨率受限于Kinect V2攝像頭的分辨率。Kinect V2擁有色彩攝像頭與深度攝像頭，色彩攝像頭的分辨率為1920×1080，而深度攝像頭的分辨率僅為512×424。為了能夠拍攝到房間的全貌，Kinect全部被安裝于天花板上。

用8個(gè)Kinect覆蓋一個(gè)4m×5m×2.5m的房間意味著每個(gè)Kinect都需要負(fù)責(zé)一塊不小的區(qū)域，在總分辨率固定的情況下，負(fù)責(zé)的區(qū)域越大，區(qū)域內(nèi)單個(gè)物體能夠分到的像素?cái)?shù)量就越少，而深度攝像頭僅僅512×424的分辨率意味著三維重建的模型精度較低，且無(wú)法很好的還原曲面。

如果你有仔細(xì)觀察視頻中出現(xiàn)的人，面部的還原其實(shí)非常差。如果想要改善這一缺陷，則需要添加更多的Kinect，這卻會(huì)對(duì)實(shí)時(shí)數(shù)據(jù)處理造成更大的負(fù)擔(dān)。目前看來(lái)，Remixed Reality也只能優(yōu)先保證實(shí)時(shí)性，精度和清晰度的問(wèn)題則需要更高規(guī)格的硬件以及更先進(jìn)的算法才能解決。

在演示中我們也能夠看到三維重建的模型出現(xiàn)了空洞，這一問(wèn)題的出現(xiàn)主要是因?yàn)槲矬w的表面過(guò)于光滑或者是透明的導(dǎo)致攝像頭對(duì)于這塊區(qū)域的識(shí)別出現(xiàn)了問(wèn)題，其實(shí)這也是目前Hololens、Magic Leap One的SLAM功能的通病。這個(gè)問(wèn)題短期沒(méi)有太好的解決方法，需要等到新的三維重建技術(shù)出現(xiàn)才有可能徹底擺脫這一問(wèn)題。

另外目前的系統(tǒng)對(duì)一些比較復(fù)雜的環(huán)境進(jìn)行三維重建時(shí)會(huì)有過(guò)多的區(qū)域被遮擋，無(wú)法獲取真正完整的房間信息。在官方演示的視頻中你可以很明顯的看到三維重建的模型大多數(shù)是殘缺不全的。

第三個(gè)問(wèn)題則是如果你對(duì)周圍的三維環(huán)境沒(méi)有做修改，那么你可以自然的在虛擬環(huán)境中與現(xiàn)實(shí)中的物體進(jìn)行互動(dòng)，然而如果你進(jìn)行了擦除或是切換視點(diǎn)的操作，這種交互就無(wú)法繼續(xù)進(jìn)行了。要解決這一問(wèn)題，需要加入觸覺(jué)重定位或者是其他的解決方案。

要開發(fā)出這樣一套擁有著無(wú)限潛力和想象力的完整系統(tǒng)，可能還需要克服相當(dāng)多的困難并花費(fèi)很久的時(shí)間，讓我們一起拭目以待吧。

來(lái)源：87870