來源：映維網(wǎng)  作者 劉源

從最早的硬件原型到最新的Gemini（雙子座）追蹤平臺(tái)，Ultraleap的手部追蹤硬件和軟件已經(jīng)取得了長足的進(jìn)步。本文將介紹相關(guān)的原始傳感器數(shù)據(jù)是轉(zhuǎn)換成能夠用于應(yīng)用程序的有用信息。

1. 手部追蹤硬件

從硬件的角度來看，手部追蹤的原理相對(duì)簡(jiǎn)單。設(shè)備的核心是兩個(gè)攝像頭和一定數(shù)量的紅外發(fā)光LED。它們追蹤波長為850納米的紅外光，亦即可見光光譜之外。LED的脈沖與攝像頭的幀速率同步，從而能夠大大降低功耗并提高強(qiáng)度。

Ultraleap的手部追蹤模塊Leap Motion Controller和Stereo IR 170 Camera模塊遵循這一原則，采用高通XR2參考設(shè)計(jì)的VR/AR頭顯同樣如是。

Ultraleap手部追蹤范圍

廣角鏡頭用來創(chuàng)造一個(gè)大交互區(qū)域，并允許設(shè)備在所述范圍內(nèi)追蹤用戶雙手。Leap Motion Controller提供一個(gè)從10mm-60mm或更大的交互區(qū)域，常規(guī)視場(chǎng)140度x120度。Stereo IR 170 Camera模塊支持更大的交互區(qū)域，從10cm-75cm或更大，常規(guī)視場(chǎng)則達(dá)到170度x170度（最小160度x160度）。

Leap Motion Controller采用倒金字塔形態(tài)，Stereo IR 170則選擇倒錐體形狀。這是由雙目攝像頭的視場(chǎng)相交而產(chǎn)生。

這個(gè)范圍受LED光在空間中的傳播限制，因?yàn)槌鼍嚯x后，在3D中推斷雙手位置會(huì)變得更加困難。LED的光強(qiáng)度最終受到USB鏈接的最大接收電流所限制。

手部追蹤設(shè)備的USB控件將傳感器數(shù)據(jù)讀入自己的本地存儲(chǔ)器，并執(zhí)行任何必要的分辨率調(diào)整。相關(guān)數(shù)據(jù)然后通過USB傳輸?shù)経ltraleap的手部追蹤軟件。

所述數(shù)據(jù)以近紅外光譜的灰度立體圖像呈現(xiàn)，涵蓋左右兩個(gè)攝像頭。通常，你能看到的只有被設(shè)備LED直接照亮的對(duì)象。然而，白熾燈泡、鹵鎢燈和日光同樣會(huì)以紅外線照亮場(chǎng)景。另外，你可能會(huì)注意到，即便在可見光譜中為黑色，諸如棉布襯衫看起來都可能為白色。

2. 手部追蹤軟件

一旦圖像數(shù)據(jù)流式傳輸?shù)絇C，系統(tǒng)將執(zhí)行繁重的數(shù)學(xué)運(yùn)算。盡管普遍存在誤解，但Ultraleap的手部追蹤平臺(tái)并不生成深度圖，而是將高級(jí)算法應(yīng)用于原始傳感器數(shù)據(jù)。

Leap Motion Service是用于處理圖像的PC軟件。在補(bǔ)償背景對(duì)象（如頭部）和環(huán)境光照后，所述工具將對(duì)圖像進(jìn)行分析并重建設(shè)備“所見的”三維表示。

接下來，追蹤層匹配數(shù)據(jù)并提取諸如手指之類的追蹤信息。Ultraleap的手部追蹤算法解析三維數(shù)據(jù)，并推斷被遮擋對(duì)象的位置。軟件同時(shí)會(huì)采用濾波技術(shù)以保證數(shù)據(jù)的平滑時(shí)間一致性。然后，Leap Motion Service將結(jié)果（以一系列幀或快照表示，并且包含所有追蹤數(shù)據(jù)）輸入傳輸協(xié)議。

通過所述協(xié)議，Leap Motion Service通過TCP或WebSocket與Leap Motion Panel，以及本機(jī)和web客戶端庫進(jìn)行通信。客戶機(jī)庫將數(shù)據(jù)組織成面向?qū)ο蟮腁PI結(jié)構(gòu)，管理幀歷史，并提供幫助函數(shù)和類。然后，應(yīng)用程序邏輯將結(jié)合Leap Motion輸入，并允許基于運(yùn)動(dòng)控制的交互體驗(yàn)。

原文鏈接：https://yivian.com/news/79650.html