就在前不久,ADI宣布與Jungo合作開(kāi)發(fā)基于飛行時(shí)間(ToF)和2D紅外(IR)技術(shù)的攝像頭解決方案,以實(shí)現(xiàn)車(chē)內(nèi)駕駛員及座艙監(jiān)測(cè)。ADI的ToF技術(shù)和Jungo的CoDriver軟件相結(jié)合,有望通過(guò)觀(guān)察頭部、身體位置以及眼睛注視情況,監(jiān)測(cè)車(chē)內(nèi)人員的睡意和注意力分散程度。該解決方案還有望實(shí)現(xiàn)基于面部、身體和手勢(shì)的智能交互,提供各個(gè)車(chē)內(nèi)人員的人臉識(shí)別功能,從而實(shí)現(xiàn)個(gè)性化信息娛樂(lè)及服務(wù)以及拼車(chē)支付等功能。 隨著類(lèi)似汽車(chē)及工業(yè)應(yīng)用的增加,可靠性成為最重要的關(guān)切,特別是作為以光檢測(cè)為基礎(chǔ)的ToF系統(tǒng)之間、環(huán)境光干擾導(dǎo)致的干擾隱患如何破?
ToF的激光檢測(cè),干擾是普遍存在的隱患
3D ToF是一種無(wú)掃描LIDAR(光檢測(cè)和測(cè)距)技術(shù),通過(guò)發(fā)射納秒級(jí)的高功率光脈沖來(lái)捕獲相關(guān)場(chǎng)景的深度信息(通常是短距離內(nèi))。ToF背后的基礎(chǔ)科學(xué)很簡(jiǎn)單。該系統(tǒng)發(fā)出經(jīng)脈沖調(diào)制的光,并測(cè)量光子經(jīng)物體反射后返回到
傳感器所需的時(shí)間。由于該時(shí)間和光速為已知值,因此可以計(jì)算出距離。
點(diǎn)云是對(duì)ToF攝像頭算出的每個(gè)像素點(diǎn)深度的3D可視化。ToF是一種景深測(cè)量技術(shù),使用紅外光源向場(chǎng)景發(fā)射多個(gè)精確計(jì)時(shí)的光脈沖。圖像傳感器與光源共置,接收從場(chǎng)景中所有表面返回的光子,其次序與表面到傳感器的距離遠(yuǎn)近相同。利用已知的光速和光子返回到傳感器每個(gè)像素點(diǎn)所花費(fèi)的時(shí)間,可以計(jì)算出每個(gè)像素所對(duì)應(yīng)的距離或深度。
很明顯,ToF檢測(cè)準(zhǔn)確的基本條件是自身產(chǎn)生發(fā)射光信號(hào)并接收該反射信號(hào),但是如果同一場(chǎng)景下多個(gè)ToF應(yīng)用終端如何避免干擾? ADI就曾做了這方面的實(shí)驗(yàn)演示分析——演示設(shè)置非常簡(jiǎn)單,設(shè)置了兩個(gè)相互垂直的ToF攝像頭,每個(gè)攝像頭會(huì)顯示參與對(duì)象在三個(gè)維度上的角度,即高度、寬度以及最重要的深度。每種顏色代表不同的距離范圍,因此如果現(xiàn)場(chǎng)工作人員靠近攝像頭,手上的顏色就會(huì)發(fā)生變化。同樣,如果遠(yuǎn)離攝像頭,工作人員的身體會(huì)變成不同的顏色,這意味著距離變得更遠(yuǎn)。在本演示中,ADI展示了多個(gè)ToF攝像頭面對(duì)面放置。如下圖可以看到這種其他攝像頭帶來(lái)的干擾產(chǎn)生的影響——注意到在這張圖片中工作人員的顏色改變了,不同的顏色表示不同的距離,這是由于這個(gè)ToF攝像頭的激光脈沖反射到另一個(gè)ToF攝像頭,從而顯示出失真或錯(cuò)誤的距離數(shù)據(jù)。
多TOF干擾消除技術(shù)的效果對(duì)比(右邊采用干擾消除技術(shù),左邊未采用)
如何消除干擾?從硬件到軟件全面克服挑戰(zhàn)
上圖右邊的攝像頭并未顯示這種失真,這是因?yàn)樵摲桨钢胁捎昧艘豁?xiàng)正ADI在申請(qǐng)專(zhuān)利的算法,它能夠避開(kāi)或消除所有無(wú)關(guān)的光信息,僅使用自身激光源的光信息,所以能給出正確的深度信息。另一個(gè)攝像頭沒(méi)有采用此干擾消除算法,會(huì)出現(xiàn)失真,而這個(gè)攝像頭則不會(huì)出現(xiàn)失真。
根據(jù)ADI官網(wǎng)透露,該算法來(lái)自于其內(nèi)部技術(shù)孵化器“Analog Garage”的飛行時(shí)間AGI團(tuán)隊(duì),通過(guò)與對(duì)應(yīng)用和硬件有著非常深刻的理解業(yè)務(wù)部合作的幾個(gè)月合作,借助業(yè)務(wù)部擁有廣泛的洞察力、傳遞實(shí)際客戶(hù)的反饋,以及他也提出的各種問(wèn)題,從干擾、功耗到動(dòng)態(tài)范圍。為了使用搭載ADI公司產(chǎn)品的傳感器和攝像頭模塊進(jìn)行實(shí)驗(yàn)和快速學(xué)習(xí),該團(tuán)隊(duì)深入了解了業(yè)務(wù)部的測(cè)試和調(diào)試GUI,并創(chuàng)建了在Analog Garage的ToF實(shí)驗(yàn)室中進(jìn)行實(shí)驗(yàn)的一套工具。該工具對(duì)于團(tuán)隊(duì)至關(guān)重要,使他們能夠測(cè)試構(gòu)想、模擬多攝像頭環(huán)境,并演示算法對(duì)干擾和功耗的影響。該團(tuán)隊(duì)提出了應(yīng)對(duì)需求的兩種方法:避免干擾和消除干擾。在項(xiàng)目的最后階段將這兩種方法結(jié)合在一起,能夠同時(shí)運(yùn)行比使用單一算法更多的攝像頭。由ToF AGI研發(fā)的干擾抑制算法是超越硅技,此項(xiàng)創(chuàng)新是業(yè)務(wù)部對(duì)應(yīng)用和器件架構(gòu)的深刻理解與Analog Garage科學(xué)家的算法專(zhuān)長(zhǎng)強(qiáng)強(qiáng)聯(lián)合的產(chǎn)物。
ADI公司飛行時(shí)間AGI團(tuán)隊(duì)成員(該團(tuán)隊(duì)已經(jīng)轉(zhuǎn)入消費(fèi)電子業(yè)務(wù)部)
當(dāng)然,干擾不僅僅來(lái)自有ToF設(shè)備之間發(fā)射光“串門(mén)”,更有可能來(lái)自無(wú)處不在的大自然光線(xiàn)干擾,特別是室外環(huán)境。
通常而言,ToF技術(shù)根據(jù)調(diào)制方法的不同,可以分為兩種:脈沖調(diào)制和連續(xù)波調(diào)制。兩種ToF調(diào)制方法都有各自的優(yōu)缺點(diǎn),需要根據(jù)實(shí)際應(yīng)用用例綜合考量的點(diǎn)包括測(cè)量距離、使用系統(tǒng)的環(huán)境、精度要求、熱/功耗限制、外形大小以及電源問(wèn)題等。ADI的ToF解決方案目前主要采用CCD傳感器的脈沖原理方式,CCD作為一個(gè)全局曝光器件,在室外遠(yuǎn)距離場(chǎng)景下,具有非常良好的性能。同時(shí)CCD作為全局曝光的傳感器,又是窄快門(mén)曝光,對(duì)于外界抗干擾性能非常強(qiáng)。
戶(hù)外環(huán)境下CMOS ToF系統(tǒng)(850 nm光源)與ADI的CCD ToF系統(tǒng)在識(shí)別人與三腳架的效果對(duì)比。
具體來(lái)看,ADI的ToF解決方案使用了高性能ToF CCD和集成了12位ADC、深度處理器(將來(lái)自CCD的原始模擬圖像信號(hào)處理成深度/像素?cái)?shù)據(jù)),以及高精度時(shí)鐘發(fā)生器(為CCD和激光器生成驅(qū)動(dòng)時(shí)序)的ToF模擬處理前端。ToF CCD主芯片ADDI903x系列具有很好的性能,傳感器將采集的光信號(hào)轉(zhuǎn)換成電信號(hào),運(yùn)用深度計(jì)算把最終距離信息送到SOC處理,然后將數(shù)據(jù)提供給算法適配,整個(gè)過(guò)程涉及傳感器、鏡頭、發(fā)射器件、平臺(tái)、應(yīng)用等。對(duì)硬件廠(chǎng)商而言,需要和模組廠(chǎng)配合打造小型化、集成度高的產(chǎn)品來(lái)適配應(yīng)用廠(chǎng)商,然后適應(yīng)不同的應(yīng)用場(chǎng)景。
總結(jié):
到目前為止,ADI的ToF技術(shù)和產(chǎn)品不僅涵蓋了從工業(yè)、消費(fèi)到汽車(chē)等,應(yīng)用的邊界拓展仍在繼續(xù),未來(lái)更大空間、更高分辨率深度數(shù)據(jù)與強(qiáng)大的分類(lèi)算法以及AI相結(jié)合,將會(huì)解鎖更多新的場(chǎng)景。但在面臨多個(gè)ToF攝像頭同時(shí)工作(技術(shù)發(fā)展路線(xiàn)圖預(yù)計(jì)將實(shí)現(xiàn)64個(gè)攝像頭同時(shí)近程檢測(cè))的挑戰(zhàn)時(shí),克服干擾帶來(lái)的檢測(cè)風(fēng)險(xiǎn)越來(lái)越重要。解決干擾問(wèn)題將涉及大量的反復(fù)試錯(cuò),而現(xiàn)有技術(shù)很可能根本無(wú)法滿(mǎn)足要求,ADI通過(guò)算法手段能實(shí)現(xiàn)比電路設(shè)計(jì)更快速的迭代和實(shí)驗(yàn)。ADI提供可直接提升3D ToF系統(tǒng)功能的產(chǎn)品和解決方案,包括處理、激光驅(qū)動(dòng)器、電源管理以及開(kāi)發(fā)板和軟件/固件,這種多ToF系統(tǒng)干擾消除的算法進(jìn)步將進(jìn)一步幫助快速實(shí)現(xiàn)3D ToF解決方案。