3D體感的技術是光學精密儀器與制造、模式識別、圖形圖像、機器學習和神經網絡技術集大成者，跨越多個領域的高精尖技術。所以，在2010年微軟Kinect推出以來，鮮有第二家公司和研究機構完全突破體感交互的所有技術環(huán)節(jié)。3D體感核心技術包括3D拍攝、人物提取和骨架識別。我們來淺析一下3D體感技術每個核心環(huán)節(jié)的技術特點。

 

 

骨架識別的技術解決方案主要由數模邏輯推理和機器學習兩種方案。數模邏輯推理是通過有人體的某個關鍵可識別的關節(jié)點，通過人體特征推理出人體每個關節(jié)點的位置，這種方法簡單易實現，但是人體是柔性、易變形，隨機動態(tài)變化的，沒有一種邏輯推理方案能夠把人體的運動給模擬出來，導致識別準確率不高沒有實用價值。這就是OMEK（被Intel收購）和Softkinetic（Intel合作伙伴）幾年也不能推出商用化產品的原因。機器學習的方法是通過大集群計算機“學習”幾千甚至萬億的人體行為樣本，來得到基本人體行為模型，就像小孩子成長的過程。但是機器學習和神經網絡是近幾年來逐步興起的技術，還不是太成熟，選擇什么樣的“學習”方法和什么樣的特征樣本是至關重要的，是需要不斷試驗的。但是大集群計算機計算本身成本就異常的高，動則千萬人民幣，沒有扎實的研究基礎，一般廠商不敢輕易嘗試。

 

對于人物提取來說，就是要把復雜的動態(tài)的環(huán)境去除，把真實的“人”提取出來。這個在工程上也是有較高的難度，比如人與桌子接觸，人與人握手和人體被局部遮擋。抽象理解就是人體分割和人物跟蹤在現有的基礎條件下，不會有完全精確的解決辦法，只是相對的解決。

 

人體的動作是三維的，當然對人體動作的測量也必須是三維的。3D拍攝或測量技術實際上是相對比較成熟的技術，具有多種解決方案，比如單彩色攝像頭，雙彩色攝像頭，光干涉，超聲波、結構光散斑和TOF（測量光的飛行時間）等等。除了TOF，其他的測量方式可以說都是基于三角測距的原理，不同在于對特征點的提取的不同。

 

對于人體動作來說最主要的難題就是三維測量的實時性和3D測量數據對骨架識別的適用性，人眼的反應時間一般小于120毫秒，也就是說3D測量到骨架識別最大允許時間必須小于100毫秒，才能夠與應用對接，這就要求三維測量的計算量不能太大，要不然成本太高就不適合消費級產品使用。

 

彩色攝像頭是以顏色和紋理為基礎的，光線細微的變化都會帶來圖像處理上較大的差別，對于紋理的細微分別決定了彩色攝像頭只能局限在近距離（0.8米以內），這就是我們可以看到三維拍攝的圖像都是黑白的灰度圖的原因。彩色圖像顏色提取的方式，抗光線和同色系干擾的能力極差，原理上決定很難把不同的物體區(qū)隔出來，得到的三維圖像體感也是無法使用的。這就是為什么leapmotion必須是室內向上拍攝，通過LED把手掌點亮的原因。

 

光干涉的原理精度高，但是計算原理就決定了該方法計算量超大，為了減小計算，就要想辦法省略掉物體的整體構建，只計算物體的邊緣輪廓。但是物體的邊緣輪廓的三維信息根本就做不出骨架識別的訓練算法。Intel的realsense，還有Pepplesinterface面臨的困境，可以三維測量，卻不可以體感。

 

Primisense的結構光散斑測量方法，就是在測量精度和計算量上面向體感技術做出平衡的最優(yōu)方案之一。Primesense的精度為厘米級，判斷人體動作已經足夠了。

 

TOF的方案分辨率很難再提高了，而且測量光飛行時間的晶振芯片和攝像頭模組技術難度太高，從圖像質量和成本的角度，TOF在很長一段時間仍然落后于結構光方案。超聲波的精度太低，遠距離實用性不強。