在數(shù)碼相機(jī)和智能手機(jī)的推動(dòng)下，相機(jī)技術(shù)已有了顯著的進(jìn)步。這在汽車應(yīng)用上尤其具有挑戰(zhàn)性，但單臺備份攝像頭的時(shí)代將不復(fù)存在，先進(jìn)的駕駛員輔助系統(tǒng)(ADAS)和自動(dòng)駕駛汽車使用的攝像頭顯著增加了分散在一輛車上的攝像頭數(shù)量。在一個(gè)為拖車設(shè)計(jì)的消費(fèi)者系統(tǒng)中，包含了19個(gè)攝像頭，使用了先進(jìn)的處理技術(shù)來隱藏拖車，暴露周圍的交通狀況。

 

OmniVision的汽車市場總監(jiān)Andy Hanvey

 

以下是兩人談話內(nèi)容：

 

既然后視鏡是強(qiáng)制性的，我們現(xiàn)在還能在其他什么地方看到部署在車輛上的攝像頭，以及未來的車型有哪些新應(yīng)用?

 

為了提高駕駛員的安全性和舒適性，車輛各處都安裝了攝像頭，包括環(huán)繞視圖系統(tǒng)、ADAS應(yīng)用程序和鏡子更換。

 

正如你提到的，后視鏡已經(jīng)是強(qiáng)制安裝，但是還有更多的要求要強(qiáng)制執(zhí)行。下一個(gè)就會涉及ADAS和駕駛員監(jiān)控系統(tǒng)(DMS)應(yīng)用。這意味著，在北美和歐盟的所有車輛都必須配備前置ADAS攝像頭。

 

此外，由于駕駛員注意力分散是造成事故的關(guān)鍵因素之一，為此歐盟要求從2022年開始在車輛上安裝駕駛員監(jiān)控?cái)z像頭。中國也在考慮類似的安全問題，為保險(xiǎn)起見，他們最近宣布了一項(xiàng)強(qiáng)制性的國家標(biāo)準(zhǔn)，要求所有汽車要么安裝儀表盤攝像頭，要么安裝事件數(shù)據(jù)記錄器(EDR)。

 

這些新型汽車成像應(yīng)用程序的設(shè)計(jì)者面臨最嚴(yán)峻的技術(shù)挑戰(zhàn)是機(jī)器視覺還是人類視覺?

 

機(jī)器視覺和人類視覺的一些問題是相似的。這兩個(gè)應(yīng)用程序都面臨一些挑戰(zhàn)，需要使用技術(shù)來提供高動(dòng)態(tài)范圍(HDR)、LED抑制閃爍(LFM)和通過縮小像素大小實(shí)現(xiàn)出色的微光性能。此外，在這兩個(gè)應(yīng)用領(lǐng)域?qū)SIL功能安全性的支持都很重要。

 

當(dāng)然也有不同之處;例如，在自動(dòng)駕駛應(yīng)用中，保護(hù)圖像傳感器數(shù)據(jù)不受黑客攻擊。因此，加密/身份驗(yàn)證功能非常重要。

 

OmniVision能夠解決這些系統(tǒng)問題。我們的圖像傳感器和圖像信號處理器(ISP)以LFM和HDR技術(shù)為特色，為自主應(yīng)用進(jìn)行了優(yōu)化。我們還提供了一個(gè)傳感器平臺，可以為自主解決方案提供更快的上市時(shí)間，這是很關(guān)鍵的。

 

 

查看應(yīng)用程序時(shí)，支持寬動(dòng)態(tài)范圍性能的能力非常重要。它可以通過兩個(gè)芯片或一個(gè)SoC或者在ISP位于ECU中的多攝像機(jī)架構(gòu)上，讓一個(gè)圖像傳感器與攝像機(jī)中的ISP一起工作。OmniVision全面的圖像傳感器系列和ASIC產(chǎn)品組合使我們能夠支持最廣泛的架構(gòu)。

 

此外，熱性能不可忽視，這可能與圖像傳感器的暗電流(DC)和在所有產(chǎn)品中最小化的驅(qū)動(dòng)有關(guān)。這對于在低光和高溫下工作的機(jī)器視覺產(chǎn)品尤其重要。

 

LFM有哪些不同的方法? OmniVision如何幫助汽車設(shè)計(jì)師解決這個(gè)問題?

 

這個(gè)問題很復(fù)雜，必須采用多級方法。在不同的技術(shù)下可以實(shí)現(xiàn)，包括側(cè)向溢流積分電容器（LOFIC）技術(shù)、斬波技術(shù)（添加介質(zhì)以過濾圖像信號），以及分離像素技術(shù)（捕捉圖像，而不是順序捕捉）。OmniVision已經(jīng)測試了不同路線，目前正在對業(yè)界最小的分裂像素設(shè)計(jì)進(jìn)行實(shí)驗(yàn)。

 

首先，在像素級，你需要捕捉LED(在時(shí)間曝光11毫秒內(nèi)，LED在11毫秒周期內(nèi)實(shí)現(xiàn)一次亮滅)。OmniVision使用像素拆分技術(shù)，通過使小光電二極管的靈敏度降低來捕獲LED。其他技術(shù)包括需要額外的像素存儲電容，但這些方法往往會有發(fā)熱問題。

 

然而，捕捉LED只是其中一部分。另一部分是將數(shù)據(jù)以一種智能的方式組合在一起，最大化HDR和LFM。在過去，設(shè)計(jì)者被迫選擇LFM或HDR，但是現(xiàn)在，使用OmniVision的HDR和LFM引擎(HALE)組合算法，“HDR and LFM Engine”的英文縮寫，實(shí)現(xiàn)了LED閃爍抑制（LFM）和寬動(dòng)態(tài)（HDR）的兩者兼得。與其他方法相比，HALE還提供了高達(dá)25%的低功耗，同時(shí)確保在125°C的汽車溫度范圍內(nèi)平穩(wěn)運(yùn)行。

 

在最高寬動(dòng)態(tài)范圍內(nèi)捕捉圖像是否重要，OmniVision如何在如此高的車溫下實(shí)現(xiàn)？

 

這與實(shí)際生活中的LED亮度有關(guān)，從LED指示燈到前大燈，再到汽車上的指示燈都會涉及。這種覆蓋范圍最廣，為汽車設(shè)計(jì)師提供了更多的系統(tǒng)靈活性，因此在整個(gè)汽車溫度范圍內(nèi)操作至關(guān)重要。攝像頭變得越來越小，就可以放置在更狹窄的空間里。此外，無論在陽光充足的亞利桑那州，冬季的奧斯陸還是雨天的倫敦，該相機(jī)都能在苛刻的照明條件下提供高質(zhì)量的圖像。倘若采用的技術(shù)有熱依賴性系統(tǒng)設(shè)計(jì)者將需要做出更多的妥協(xié)。

 

當(dāng)將LFM整合到前視ADAS和其他機(jī)器視覺系統(tǒng)中以實(shí)現(xiàn)自動(dòng)駕駛時(shí)，他們還需要什么呢?

 

自主駕駛(AD)系統(tǒng)要求包括更高的分辨率、更高的動(dòng)態(tài)范圍、同時(shí)進(jìn)行LFM、多色濾波陣列(CFA)和網(wǎng)絡(luò)安全，這些都是我們客戶提出的要求。由于分辨率增加了物體被識別的距離，所以在一個(gè)AD系統(tǒng)中擁有一個(gè)高分辨率的圖像傳感器是很重要的，這樣可以更快地做出決定。

 

LFM技術(shù)是OmniVision具有重要經(jīng)驗(yàn)的一個(gè)領(lǐng)域，它滿足了這個(gè)應(yīng)用領(lǐng)域中客戶的需求。

 

監(jiān)測駕駛員狀態(tài)和機(jī)艙內(nèi)乘客的設(shè)計(jì)挑戰(zhàn)是什么? OmniVision如何解決這些問題?

 

對于DMS來說，它包括四個(gè)方面:全球快門(GS)、940nm波長的高近紅外(NIR)量子效率(QE)、小尺寸和低功耗。OmniVision有全方位的GS圖像傳感器，從VGA到2MP都可以滿足司機(jī)監(jiān)控的需求。此外，GS圖像傳感器被集成為ADAS系統(tǒng)的一部分會是一大趨勢

 

因此具有ASIL功能非常重要，我們的2MP GS平臺是第一個(gè)添加ASIL功能的平臺。OmniVision的Nyxel™近紅外技術(shù)是為了保持夜視圖像的空間分辨率而特別設(shè)計(jì)的，可以在低光條件下拍攝十分清晰的圖像。

 

車艙內(nèi)應(yīng)用不同于DMS，因?yàn)樗鼈儾恍枰挚扉T圖像傳感器，一個(gè)滾動(dòng)快門就足夠了。對于機(jī)艙監(jiān)控，關(guān)鍵是能夠提供RGB圖像以供查看夜間增強(qiáng)圖像，以及用于機(jī)器視覺處理的圖像。為此，必須使用RGB-IR技術(shù)，該技術(shù)不僅提供出色的低光和近紅外靈敏度，更具有高動(dòng)態(tài)范圍和先進(jìn)的ASIL安全功能設(shè)計(jì)，減少偽影并提高整體系統(tǒng)可靠性。

 

如何看待這項(xiàng)技術(shù)在汽車上的應(yīng)用?

 

OmniVision的Nyxel技術(shù)非常令人興奮，它可以適當(dāng)?shù)母淖兤噾?yīng)用。將Nyxel添加到全局快門傳感器上可以給DMS應(yīng)用空間帶來很大的好處，它可以在940nm時(shí)將QE從12%提高到40%，這是一個(gè)巨大的進(jìn)步。這不僅可以降低系統(tǒng)中l(wèi)ed的功耗，也給了系統(tǒng)設(shè)計(jì)者更大的靈活性。

 

 

Nyxel技術(shù)可以顯著提高在可見光譜外近紅外光下捕獲駕駛員監(jiān)控圖像的能力。

 

名詞解釋：

 

1.ISP——圖像信號處理器，無論是手機(jī)鏡頭、攝像機(jī)鏡頭還是監(jiān)控鏡頭中都包含該元素；單以圖像畫質(zhì)來說，ISP自身就是針對圖像處理的元件，在加上圖像降噪技術(shù)，那么自然會到達(dá)一個(gè)令安防用戶滿意的結(jié)果。在高清監(jiān)控產(chǎn)品推進(jìn)的過程中，ISP技術(shù)的革新起到了巨大的作用。該技術(shù)涵蓋了增益控制、白平衡、噪聲控制、曝光控制等技術(shù)。

 

2.LFM——LED閃爍危及交通安全

 

從路燈、交通燈，到車載照明，低功耗、長壽命、高可靠的LED正在快速取代傳統(tǒng)照明方式。但LED在道路上的普遍使用，卻帶來“LED閃爍”現(xiàn)象。“LED閃爍”是由LED驅(qū)動(dòng)方式而產(chǎn)生的現(xiàn)象，LED燈以交流方式驅(qū)動(dòng)，驅(qū)動(dòng)頻率一般在90Hz以上，即最慢脈沖周期為11毫秒左右，LED在11毫秒周期內(nèi)實(shí)現(xiàn)一次亮滅，為節(jié)能及延長使用壽命，占空比通常不超過50%，如果相機(jī)曝光時(shí)間較短（例如3毫秒），則有可能曝光時(shí)間正好對上LED被關(guān)滅期，這時(shí)候圖像傳感器抓到的就是LED滅掉的圖像，如果是LED陣列，在這種情況下拍到的圖像就是一部分亮，一部分暗，這就是“LED閃爍”現(xiàn)象。

 

 

人眼看不到LED閃爍現(xiàn)象，但隨著攝像頭在汽車當(dāng)中應(yīng)用不斷拓展，車載圖像模塊越來越多遇到“LED閃爍”問題。

 

在高級駕駛輔助系統(tǒng)（ADAS）中，LED閃爍造成的危害更大。LED閃爍會導(dǎo)致系統(tǒng)無法正常檢測電子路標(biāo)與交通信號燈，無法區(qū)分轉(zhuǎn)向燈與車尾燈。

 

 

3.疲勞駕駛預(yù)警系統(tǒng)（DMS)

 

疲勞駕駛預(yù)警系統(tǒng)就是指一旦駕駛者精神狀態(tài)下滑或進(jìn)入淺層睡眠，該系統(tǒng)會依據(jù)駕駛員精神狀態(tài)指數(shù)分別給出：語音提示，振動(dòng)提醒，電脈沖警示，警告駕駛員已經(jīng)進(jìn)入疲勞狀態(tài),需要休息,并同時(shí)自動(dòng)記錄相關(guān)數(shù)據(jù),以便日后查閱，鑒定。其作用就是監(jiān)視并提醒司機(jī)自身的疲勞狀態(tài)，減少司機(jī)疲勞駕駛潛在危害。許多國家都比較重視疲勞駕駛預(yù)警系統(tǒng)的研究工作,早期的疲勞駕駛測評主要是從醫(yī)學(xué)角度出發(fā),借助醫(yī)療器件進(jìn)行的。

 

而目前應(yīng)用較多的 疲勞駕駛預(yù)警系統(tǒng) （DMS）是基于駕駛員生理及其他非生理信號的變化進(jìn)行采集、分析和處理，判斷駕駛員狀態(tài)是否處于疲勞、睡眠狀態(tài)。基于圖像處理的疲勞駕駛系統(tǒng)主要有以下幾個(gè)模塊組成：

 

 

系統(tǒng)最前端為圖像采集模塊，搭載圖像傳感器的攝像頭將時(shí)刻進(jìn)行圖像采集，保證在各種環(huán)境，全天候都能實(shí)現(xiàn)駕駛員面部特征和肢體圖像的采集。

 

達(dá)到及時(shí)性和準(zhǔn)確性，無延遲的監(jiān)控。

 

 

推薦閱讀：