從主機(jī)廠的自動(dòng)駕駛技術(shù)搭載情況來看，其感知技術(shù)方案大致可分為兩類：一種是基于視覺的自動(dòng)駕駛系統(tǒng)，另一種是基于雷達(dá)+視覺的自動(dòng)駕駛系統(tǒng)。后者主要使用雷達(dá)傳感器來檢測(cè)物體，而視覺系統(tǒng)則完全基于攝像頭。從當(dāng)初傳統(tǒng)的TIer1（如博世、大陸等）傾向于搭載簡(jiǎn)單低成本的毫米波雷達(dá)系統(tǒng)用于實(shí)現(xiàn)基礎(chǔ)的輔助駕駛功能。而諸如特斯拉這類高尖端的主機(jī)廠更是從最初的視覺方案到后面引入雷達(dá)傳感器，再到放棄雷達(dá)回歸純視覺方案，經(jīng)歷了多次反復(fù)。包括國內(nèi)很多主機(jī)廠也將很大程度的研發(fā)精力放在了對(duì)視覺感知上。通過利用計(jì)算機(jī)視覺系統(tǒng)檢測(cè)、識(shí)別物體，利用不同的神經(jīng)網(wǎng)絡(luò)模型檢測(cè)不同的對(duì)象模型，一旦判斷失誤，就會(huì)導(dǎo)致事故。基于視覺的自動(dòng)駕駛系統(tǒng)需要強(qiáng)大的軟件算法能力，以及大量數(shù)據(jù)對(duì)AI模型的長(zhǎng)期訓(xùn)練。這顯然不是一朝一夕可以實(shí)現(xiàn)的。
然而，除了感知軟件這一難題外，我們對(duì)于感知前端的攝像頭硬件模組又了解多少呢？本文將系統(tǒng)的介紹攝像頭前端感知模組的相關(guān)技術(shù)參數(shù)及評(píng)價(jià)指標(biāo)。
攝像頭模組相關(guān)選型介紹
攝像頭模組CCM主要由鏡頭（lens）、鏡座、紅外濾光片（IR Filter）、傳感器（Sensor）、PCB板、FPC柔性電路板等結(jié)構(gòu)組成，是影像捕捉至關(guān)重要的電子器件。
基本原理是通過外部光線照射在物體上，經(jīng)過反射、折射后穿過鏡頭（Lens），再經(jīng)過濾光片濾波投射到圖像傳感器（Sensor）感光面上。其基礎(chǔ)原理是通過Sensor將Lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號(hào)，經(jīng)過內(nèi)部圖像處理器（ISP）轉(zhuǎn)換成數(shù)字圖像信號(hào)輸出到數(shù)字信號(hào)處理器（DSP）加工處理，轉(zhuǎn)換成標(biāo)準(zhǔn)的GRB、YUV等格式圖像信號(hào)。若Sensor內(nèi)部未集成ISP，則通過DVP的方式傳輸?shù)綀D像處理器，此時(shí)的數(shù)據(jù)格式為RAW RGB（原始數(shù)據(jù)）。
1）鏡頭（lens）
鏡頭相當(dāng)于人眼中的晶狀體，利用透鏡的折射原理，景物光線透過鏡頭在聚焦平面上形成清晰的像。Camera的鏡頭結(jié)構(gòu)一般是有幾片透鏡組成的，透鏡分為塑膠透鏡（PlasTIc）以及玻璃透鏡（Glass），常用的鏡頭結(jié)構(gòu)有：1P、2P、1G1P、1G3P、2G2P等。
透鏡越多，成本越高，成像效果也越好（光線更均勻、更細(xì)致；對(duì)光線的選通更豐富；成像畸變更小，但是會(huì)導(dǎo)致鏡頭變長(zhǎng)，光通量變?。Ａ哥R的透光率、感光性比塑膠透鏡的要好，但價(jià)格也更貴。
鏡頭的關(guān)鍵指標(biāo)就是鏡頭的焦距，通常根據(jù)鏡頭焦距的不同，進(jìn)行不同的分類。鏡頭的焦距決定了該鏡頭拍攝的物體在Sensor上所形成影像的大小，焦距越短，拍攝范圍就越大，也就越接近廣角鏡頭；焦距越長(zhǎng)，鏡頭的視角越小，拍攝到景物的范圍也就越小，也就越接近窄角攝像頭。通常會(huì)把短焦距、視場(chǎng)角大于50°（如f=3mm左右）的鏡頭，稱為廣角鏡頭，如前視120°攝像頭；把更短焦距（如f=2.8mm）的鏡頭叫走超廣角鏡頭，如環(huán)視攝像頭；而把焦距很長(zhǎng)（如f＞80mm）的鏡頭稱為望遠(yuǎn)鏡頭，如智駕域經(jīng)常用到的30°遠(yuǎn)攝攝像頭。介于短焦與長(zhǎng)焦之間的鏡頭就叫做標(biāo)準(zhǔn)鏡頭，如智駕域的側(cè)視攝像頭。
鏡頭的焦距、視場(chǎng)大小及鏡頭到被攝取物體的距離計(jì)算公式如下：
f = w*D / W f = h*D / H
其中：f—鏡頭焦距，w—圖像的寬度（被攝物體在Sensor靶面上的成像寬度），W—被攝物體寬度，D—被攝物體距離鏡頭的距離，h—圖像高度（被攝物體在Sensor靶面上的成像高度），H—被攝物體的高度。
鏡頭尺寸
一般可分為25.4mm（1inch）、16.9mm（2/3inch） 、12.7mm（1/2inch） 、 8.47mm（1/3inch）和 6.35mm（1/4inch）等幾種規(guī)格 。選用鏡頭時(shí)，應(yīng)使鏡頭尺寸與攝像機(jī)的靶面尺寸大小相吻合，并注意這樣一個(gè)原則，即小尺寸靶面的圖像Sensor可使用大尺寸的鏡頭，反之則不行。如1/2“的Sensor采用1/3”的鏡頭，則進(jìn)光量會(huì)變小，色彩會(huì)變差，甚至圖像也會(huì)缺損；反之，則進(jìn)光量會(huì)變大，色彩會(huì)變好。
此外，我們還比較關(guān)心的是鏡頭通光孔徑大小對(duì)鏡頭的影響。通常，通光孔徑越大，通過的光量越大，但我們關(guān)心的是到達(dá)Sensor的光量。焦距越長(zhǎng)，意味著Sensor離鏡頭中心越遠(yuǎn)，相應(yīng)的光就越弱，所以，標(biāo)準(zhǔn)光圈大小的參數(shù)應(yīng)該與兩個(gè)變量有關(guān)：即孔徑，焦距。
可以定義光圈的相對(duì)孔徑等于鏡頭的有效孔徑與鏡頭焦距之比，鏡頭的相對(duì)孔徑表征了鏡頭的通光能力，相對(duì)孔徑越大，通光越多。
光圈系數(shù)F = 焦距（f） / 鏡頭有效孔徑 （D）
光圈相對(duì)孔徑 = 鏡頭有效孔徑 （D） / 焦距（f）
即F = 1 / 光圈相對(duì)孔徑
所以，選用相對(duì)孔徑大的鏡頭，可以降低對(duì)景物照明條件的要求。
最后，對(duì)于攝像頭來說，主要還涉及到相關(guān)的鏡頭接口。常規(guī)的接口鏡頭主要包括 C接口鏡頭（C-Mount）與CS（CS-Mount）接口鏡頭。兩者最明顯的區(qū)別就是鏡頭與攝像機(jī)接觸至攝像機(jī)感光元器件（CCD/COMS傳感器）的位置（焦平面）的距離不同。這個(gè)距離專業(yè)的術(shù)語叫做法蘭焦距。C接口的法蘭焦距為17.5mm，CS接口的法蘭焦距為12.5mm。在鏡頭的使用過程中，通常是C型標(biāo)準(zhǔn)攝像機(jī)接C接口鏡頭，CS鏡頭接CS型攝像機(jī)。但是在使用的過程中C接口鏡頭可以加裝一個(gè)5mm厚的延長(zhǎng)環(huán)與CS型攝像機(jī)搭配使用，C接口鏡頭不加延長(zhǎng)圈則會(huì)導(dǎo)致鏡頭碰到傳感器靶面，造成傳感器損壞。CS型鏡頭與C型攝像機(jī)無法配合，CS鏡頭與C型攝像機(jī)不能組合使用的原因是鏡頭成像面與CCD受光面距離太遠(yuǎn)，不能得到聚焦的圖像。
2）紅外濾光片（IR Filter）
紅外濾光片的主要作用是透過人眼可見光波段（380~700nm），濾除掉入鏡頭中的紅外光，這是因?yàn)槿搜劭床坏郊t外光，但是sensor卻能感受到紅外光，所以需要將光線中的紅外光濾掉，防止Sensor產(chǎn)生偏色、波紋，以提高色彩還原度，使圖像更接近人眼看到的效果。但對(duì)于夜視系統(tǒng)，Sensor需要接收物體發(fā)出或反射的紅外光線進(jìn)行成像，此時(shí)鏡頭模組中就不需要紅外濾光片了。
3）圖像傳感器（Sensor）
Sensor是攝像頭的核心，負(fù)責(zé)將通過Lens的光信號(hào)轉(zhuǎn)換為電信號(hào)，再經(jīng)過內(nèi)部AD轉(zhuǎn)換為數(shù)字信號(hào)。每個(gè)pixel像素點(diǎn)只能感受R、G、B中的一種，因此每個(gè)像素點(diǎn)中存放的數(shù)據(jù)是單色光，所以我們智駕系統(tǒng)常用的200萬像素或者800萬像素，表示的就是有200萬或800萬個(gè)感光點(diǎn)，每個(gè)感光點(diǎn)只能感應(yīng)一種光，這些最原始的感光數(shù)據(jù)也就是我們常常叫做的RAW Data。
圖像傳感器的像素單元都分為四部分：微透鏡、濾色片、感光片（光電二極管）、電荷存儲(chǔ)區(qū)。光線照射到Sensor感光組件（光電二極管）上，光強(qiáng)就轉(zhuǎn)換為電荷，并緩存于電荷存儲(chǔ)區(qū)。
目前的Sensor有兩種基本的類型：
CCD傳感器：
電荷耦合器件傳感器：使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成電信號(hào)。CCD由許多獨(dú)立的感光單位組成，通常以百萬像素為單位。當(dāng)CCD表面受到光照時(shí)，每個(gè)感光單位都會(huì)將電荷反映在組件上，所有的感光單位產(chǎn)生的信號(hào)加在一起，就構(gòu)成了一幅完整的圖像。
互補(bǔ)性氧化金屬半導(dǎo)體：主要是利用硅和鍺做成的半導(dǎo)體，使其在CMOS上共存著帶N（-）和P（+）級(jí)的半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流可以被處理芯片記錄并解讀成影像。
由于結(jié)構(gòu)原因，CCD Sensor只有一個(gè)ADC；而CMOS sensor有一行的ADC。這樣在數(shù)據(jù)輸出上，CMOS可以做到很高的幀率，而CCD卻很難做到高像素和高幀率。
由此，在面向智駕系統(tǒng)更高幀率和高分辨率的前提下，對(duì)CMOS應(yīng)用場(chǎng)景將越來越大。我們?cè)趯?duì)傳感器Sensor選型過程中通常需要考慮如下幾個(gè)重要參數(shù)：
4）傳感器核心
典型的圖像傳感器核心主要由image array（圖像陣列）、AMP放大器）以及ADC組成。其中圖像陣列Image array是模擬電路，很難做到很先進(jìn)的工藝，比如40nm這種水平，而且并不是工藝越先進(jìn)越好（要保證像素感光面的大?。５莝ensor的數(shù)字部分（比如內(nèi)部的圖像處理和接口邏輯）是純數(shù)字邏輯，這部分卻可以做到很先進(jìn)的工藝比如16nm。 如下圖a）表示了一個(gè)典型的sensor的版圖如下：
像素陣列可以分為OpTIcal Black（光學(xué)黑體）區(qū)域、AcTIve Pixel（有效像素）區(qū)域以及Dummy boarder（虛擬邊界）區(qū)域。 一般一個(gè)sensor的圖像陣列點(diǎn)數(shù)會(huì)大于實(shí)際成像的圖像。比如一個(gè)1920x1080的sensor，可能實(shí)際的Image array的點(diǎn)數(shù)是1948x1108。這是由于圖線陣列角落的進(jìn)光量很少，一般會(huì)去掉一部分角落的像素點(diǎn)，保證成像質(zhì)量，從而增加一些功能性的區(qū)域，比如Optical Black區(qū)域用來作為暗電流的對(duì)照（用于黑電平校正），留下虛擬邊界作為后續(xù)數(shù)字處理的時(shí)間余量和傳遞一些額外信息。
5）ISP圖像處理過程
ISP（Image Signal Processor），作為攝像頭中一種典型的前端處理單元，主要是對(duì)圖像傳感器輸出的信號(hào)做前期處理。ISP的功能比較雜，基本上跟圖像效果有關(guān)的它都有份。它內(nèi)部包含多個(gè)圖像算法處理模塊，其中比較有代表性的是：扣暗電流（去掉電流噪聲），線性化（解決數(shù)據(jù)非線性問題），shading（解決鏡頭帶來的亮度衰減與顏色變化），去壞點(diǎn)（去掉sensor中壞點(diǎn)數(shù)據(jù)），去噪（去除噪聲），demosaic（raw數(shù)據(jù)轉(zhuǎn)為RGB數(shù)據(jù)），3A（自動(dòng)白平衡，自動(dòng)對(duì)焦，自動(dòng)曝光），gamma（亮度映射曲線，優(yōu)化局部與整體對(duì)比度），旋轉(zhuǎn)（角度變化），銳化（調(diào)整銳度），縮放（放大縮小），色彩空間轉(zhuǎn)換（轉(zhuǎn)換到不同色彩空間進(jìn)處理），顏色增強(qiáng)（可選，調(diào)整顏色），膚色增強(qiáng)（可選，優(yōu)化膚色表現(xiàn)）等。
依賴于ISP才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場(chǎng)細(xì)節(jié)，ISP技術(shù)在很大程度上決定了攝像機(jī)的成像質(zhì)量。負(fù)責(zé)接收感光元件（Sensor）的原始信號(hào)數(shù)據(jù)，可以理解為整個(gè)相機(jī)拍照、錄像的第一步處理流程，對(duì)圖像質(zhì)量起著非常重要的作用。
攝像頭模組影像測(cè)評(píng) 了解了攝像頭在各方面的性能指標(biāo)后，就需要采用一定的評(píng)價(jià)指標(biāo)對(duì)攝像頭整個(gè)模組的選型進(jìn)行有效的評(píng)價(jià)，以方便對(duì)攝像頭的運(yùn)算能力進(jìn)行全方位評(píng)估。 從如上分析影響攝像頭成像能力的主要因素來說，關(guān)于攝像頭模組的顯像測(cè)評(píng)主要包括如下幾個(gè)重要的指標(biāo)。
?。?）解像力 解像力這個(gè)指標(biāo)主要是通過對(duì)相機(jī)鏡頭的還原能力進(jìn)行測(cè)試，測(cè)試的方法是用相機(jī)拍攝逐漸變細(xì)的條紋，然后在電腦中使用10倍～50倍甚至更高倍數(shù)的放大倍率來觀察所拍攝的畫面。解像力值是用底片上視覺可區(qū)別的1mm上的極限線條數(shù)表示的。 例如，在一個(gè)區(qū)域中畫100條黑線，有的鏡頭拍出來的影像只能辨認(rèn)出10條線，有的鏡頭拍出來的影像則能辨認(rèn)出100條線，這樣就可以認(rèn)為后者的解像力比前者高?？梢钥闯鼋庀窳χ饕轻槍?duì)鏡頭而言的。
?。?）雜光、鬼影 由強(qiáng)光造成的照片發(fā)白、形成光暈的現(xiàn)象稱作“眩光（Flare）”。當(dāng)太陽光或點(diǎn)光源進(jìn)入鏡頭時(shí)，鏡片表面會(huì)反射5%左右的入射光線。各枚鏡片表面反射的光線會(huì)在鏡頭和相機(jī)內(nèi)部多次反射，在光源的相對(duì)位置形成之清晰亮點(diǎn)，有如幽靈一般，稱之為鬼影（鬼影算是光斑的一種）。 這里需要說明的是，很多如果采用純攝像頭方案實(shí)現(xiàn)的AEBFCTB這類安全性功能可能會(huì)由于檢測(cè)到類似鬼影而進(jìn)行誤制動(dòng)。
（3）畸變 相機(jī)內(nèi)參由傳感器和鏡頭在模組內(nèi)的安裝位置決定，其標(biāo)定的主要目的是建立成像幾何模型并矯正透鏡畸變。透鏡畸變主要分為徑向畸變和切向畸變，徑向畸變由透鏡形狀的制造工藝導(dǎo)致，切向畸變由透鏡和CMOS或者CCD的安裝位置誤差導(dǎo)致。 在進(jìn)行畸變性能評(píng)價(jià)時(shí)，通常是采用對(duì)攝像頭內(nèi)參矩陣做整體維度的評(píng)價(jià)。通常在對(duì)攝像頭安裝到車上時(shí)，需要提前對(duì)攝像頭的內(nèi)參矩陣進(jìn)行矯正。相機(jī)內(nèi)參標(biāo)定通過拍攝空間中不同位置處的標(biāo)定板，標(biāo)定光心位置和畸變系數(shù)。
（4）視場(chǎng)角 在光學(xué)儀器中，以光學(xué)儀器的鏡頭為頂點(diǎn)，以被測(cè)目標(biāo)的物像可通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角，稱為視場(chǎng)角。視場(chǎng)角的大小決定了光學(xué)儀器的視野范圍，視場(chǎng)角越大，視野就越大，光學(xué)倍率就越小。這也是我們?cè)谧鰯z像頭鏡頭模組選擇時(shí)最常用于評(píng)價(jià)的性能指標(biāo)。
?。?）亮度均勻性 光亮度均勻性，是指最亮與最暗部分的差異值，就是所拍攝的畫面四個(gè)角落的亮度與中心點(diǎn)亮度的比值，一般將中間定義為100%。理想的均勻度是100%，均勻度越高，畫面的亮度一致性越好。
?。?）色彩均勻性 色彩均勻性的測(cè)量方法：即至少選擇兩種顏色RGB級(jí)數(shù)進(jìn)行比較。如：R/B和R/G。以確認(rèn)模組周邊與中心色彩一致性是否符合要求。分別測(cè)出R/B、R/G、G/B的max以及min值，并用min/max（各組）從而得到需求值，取其中的最小值，從而可以很好的評(píng)價(jià)傳感器的色差能力。
?。?） 色彩飽和度 飽和度（Saturation）指的是色彩純度。是色彩的構(gòu)成要素之一。純度越高，表現(xiàn)越鮮明，純度較低，表現(xiàn)則較黯淡。
?。?）信噪比 信噪比是信號(hào)均值與背景標(biāo)準(zhǔn)偏差的比值，衡量一幅圖片質(zhì)量好壞的重要指標(biāo)。信噪比越大，圖像畫面就干凈，看不到“顆?！薄ⅰ把┗ā?。若信噪比小，則可能滿是“雪花”，嚴(yán)重影響圖像質(zhì)量。
?。?）白平衡 白平衡就是拍照時(shí)相機(jī)會(huì)分析我們拍攝場(chǎng)景的光線環(huán)境，并且盡力還原白色，光的色調(diào)是通過色溫來實(shí)現(xiàn)的，色溫會(huì)告訴相機(jī)這些光是暖色調(diào)還是冷色調(diào)。色溫說的是光線的溫度，比如暖光或者冷光，色溫從低到高，顏色也由偏黃的暖光（色溫低）到偏藍(lán)的冷光（色溫高）。白平衡的目的是要求在不同光源下（晴天、陰天、白熾燈等）拍攝的圖像能獲得與人眼觀察相符的彩色，并確認(rèn)是否出現(xiàn)偏色及其他顏色摻雜。
?。?1） 灰階 灰階就是指將最亮和最暗之間的亮度變化區(qū)分為不同的層級(jí)，每一級(jí)就表示一個(gè)亮度變化，這里的中間層級(jí)越多，那么呈現(xiàn)出來的畫面效果也就會(huì)越細(xì)膩?；译A層級(jí)越多，明暗對(duì)比和黑白顏色過渡方面的表現(xiàn)優(yōu)異圖像越清晰，過渡越自然越好。
?。?2）動(dòng)態(tài)范圍 動(dòng)態(tài)范圍是用來描述畫面中從最暗的陰影部分到最亮的高光部分的光量強(qiáng)度分布范圍。動(dòng)態(tài)范圍越大，說明圖像中能被捕捉下來的層次越豐富。 只要場(chǎng)景中從最亮到最暗的部分所跨越的動(dòng)態(tài)范圍在相機(jī)感光元件的動(dòng)態(tài)范圍之內(nèi)，那么就能夠同時(shí)把最亮和最暗部分的細(xì)節(jié)記錄下來。舉例來說，如果一臺(tái)相機(jī)的動(dòng)態(tài)范圍是8擋，而場(chǎng)景中最亮和最暗部分的曝光相差6擋，那么你就能夠記錄下場(chǎng)景中所有的細(xì)節(jié)。不過，如果場(chǎng)景或者拍攝對(duì)象的動(dòng)態(tài)范圍超過了相機(jī)感光元件的動(dòng)態(tài)范圍，那么你的照片必然會(huì)出現(xiàn)陰影是完全的黑色，或者高光“溢出”變成完全的白色——有時(shí)兩種情況會(huì)同時(shí)出現(xiàn)。
?。?3）其他評(píng)價(jià)指標(biāo) 此外，從綜合場(chǎng)景的評(píng)價(jià)角度上講，其相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)還可以是測(cè)試人員可以通過目測(cè)拍攝場(chǎng)景的銳利清晰度、輪廓分明度、動(dòng)態(tài)范圍效果以及色彩失真度來判定整體場(chǎng)景的優(yōu)劣。如果應(yīng)用到車上，還需要考慮是否存在類似鏡頭加熱等附加功能。因?yàn)閿z像機(jī)加熱的主要目的是保證攝像機(jī)能正常啟動(dòng)以及正常工作。因?yàn)橐话汶娮釉骷墓ぷ鳒囟确秶?5℃到45℃左右，所以基于北方冬天能達(dá)到零下二三十度的低溫，一些元器件就會(huì)停止工作，所以應(yīng)用于北方的攝像機(jī)需要FPC電熱膜/FPC加熱膜進(jìn)行加熱處理，以保證攝像機(jī)能正常工作，從而確保整個(gè)加熱單元會(huì)影響到整體的功能輸出。
更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<
