"借助NI EVS和PXI平臺，我們通過硬件設(shè)計和軟件編程完成了此系統(tǒng)的開發(fā)。通過對車道偏離預(yù)警（LDW）功能的設(shè)計與測試，證明該系統(tǒng)可以在機(jī)器視覺的輔助駕駛開發(fā)中運用。"

- 希鵬 李, 重慶大學(xué)電氣工程學(xué)院

The Challenge:
基于機(jī)器視覺的輔助駕駛技術(shù)日漸成熟，在中高級轎車中已經(jīng)實現(xiàn)產(chǎn)品化，切實提高了汽車的主動安全性能。開發(fā)機(jī)器視覺輔助駕駛系統(tǒng)時，需要考慮不同外界因素的影響，導(dǎo)致整個系統(tǒng)的算法復(fù)雜、代碼繁多；在開發(fā)初期，考慮到安全因素的影響，系統(tǒng)不可能直接進(jìn)行實車試驗，進(jìn)一步加深了系統(tǒng)開發(fā)的難度。這些都是開發(fā)機(jī)器視覺輔助駕駛系統(tǒng)時面臨的難題。如何更加關(guān)注算法開發(fā)，減少代碼開發(fā)投入，并能在有效、可信、可重復(fù)的環(huán)境下測試，以便及時發(fā)現(xiàn)問題并進(jìn)行整改，是機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)面臨的難點。

The Solution:
該方案主要解決機(jī)器視覺輔助駕駛系統(tǒng)的快速開發(fā)及測試問題。NI的EVS嵌入式視覺系統(tǒng)適合快速檢測及大型圖像處理，能連接多架相機(jī)，并實現(xiàn)同步檢測。借助LabVIEW編程語言及VDM編程模塊可快速實現(xiàn)要求的識別功能，使機(jī)器視覺產(chǎn)品的開發(fā)更加高效。基于NI PXI的仿真測試平臺，結(jié)合虛擬現(xiàn)實軟件CarMaker，通過VeriStand集成整個測試系統(tǒng)，從而搭建出真實有效的虛擬測試場景，實現(xiàn)機(jī)器視覺功能的全面、有效和可重復(fù)的測試。開發(fā)新功能時，借助NI EVS平臺可以快速完成方案建模及編程過程；借助于基于NI PXI的虛擬駕駛測試平臺，既能夠盡早發(fā)現(xiàn)產(chǎn)品問題并進(jìn)行整改，又可以保證測試過程的安全性。機(jī)器視覺系統(tǒng)與測試平臺的結(jié)合，能進(jìn)一步提升基于機(jī)器視覺輔助駕駛系統(tǒng)的開發(fā)效率。

1  引言
基于機(jī)器視覺的輔助駕駛系統(tǒng)旨在提高駕駛員的環(huán)境感知能力，通過輔助系統(tǒng)監(jiān)測外界環(huán)境，并在非安全情況及時向駕駛員發(fā)出預(yù)警，從而使人—車—路系統(tǒng)更加穩(wěn)定、安全、可靠，提高汽車的安全性能。

開發(fā)基于機(jī)器視覺的輔助駕駛系統(tǒng)時，需要面對以下難點：

（1）系統(tǒng)算法復(fù)雜，代碼繁多。機(jī)器視覺主要是借助攝像頭采集外界信息并將其轉(zhuǎn)換為數(shù)字圖像信號進(jìn)行處理，面對不同的外界環(huán)境和檢測目的，致使系統(tǒng)需要處理的針對點不一樣，因此，使得整個系統(tǒng)在算法方面異常復(fù)雜，開發(fā)過程緩慢。

（2）測試環(huán)境要求苛刻。在系統(tǒng)開發(fā)后期，測試其性能并進(jìn)行整改是整個研發(fā)過程中的關(guān)鍵步驟之一。相比較于其他汽車電子產(chǎn)品，基于機(jī)器視覺的輔助駕駛技術(shù)產(chǎn)品在測試時需要考慮兩點因素：第一，實車試驗時，駕駛員的安全是否能夠得到保障；第二，測試過程需要有效、可信、可從復(fù)，便于及時發(fā)現(xiàn)問題并進(jìn)行整改。

在開發(fā)基于機(jī)器視覺輔助駕駛系統(tǒng)過程中，如果能把上述難題順利解決，將為以后基于機(jī)器視覺的輔助駕駛技術(shù)產(chǎn)品研發(fā)做好鋪墊，提高輔助駕駛技術(shù)產(chǎn)品的開發(fā)效率，促進(jìn)輔助駕駛技術(shù)產(chǎn)品早日投入量產(chǎn)，最終提高汽車的安全性能。

2  設(shè)計背景和設(shè)計原則
針對以上在機(jī)器視覺輔助駕駛系統(tǒng)研發(fā)及測試過程中存在的問題，考慮到NI公司的EVS和PXI平臺出色的圖像處理能力及強大的實時仿真測試功能，采用LabVIEW編程語言，通過VeriStand開發(fā)平臺集成仿真測試模型，設(shè)計了一套基于NI EVS和PXI的機(jī)器視覺輔助駕駛開發(fā)系統(tǒng)。

借助NI EVS平臺可以快速實現(xiàn)基于機(jī)器視覺的輔助駕駛功能，這主要是依托NI EVS平臺的如下特點：

（1）高性能的多核處理器，2GB RAM適合快速檢測和大型圖像處理；

（2）連接多架相機(jī)以實現(xiàn)同步檢測（千兆以太網(wǎng)視覺和IEEE1394標(biāo)準(zhǔn)），可用于多種駕駛輔助功能的開發(fā)；

（3）高速I/O通道適合和工業(yè)通信，具有強大的擴(kuò)展能力；

（4）借助視覺生成器配置實現(xiàn)自動檢測，無需進(jìn)行底層驅(qū)動和接口電路的設(shè)計開發(fā)；

（5）視覺開發(fā)模塊Vision Development Module（VDM）集成了大量常見的機(jī)器視覺處理基礎(chǔ)模塊，開發(fā)人員將集中于集成和應(yīng)用，快速實現(xiàn)各類的檢測和識別功能；

（6）采用圖形化編程方式，更加便于開發(fā)人員進(jìn)行復(fù)雜算法的開發(fā)和調(diào)試。

當(dāng)設(shè)計人員有新的創(chuàng)意時，運用該系統(tǒng)可以快速將創(chuàng)意實現(xiàn)，提高了系統(tǒng)開發(fā)的效率。其中，視覺開發(fā)模塊（VDM）可以讓設(shè)計人員更多的關(guān)注不同算法實現(xiàn)的效果，減少在編程方面的精力投入，通過綜合比較，進(jìn)一步提高系統(tǒng)的性能。

借助NI PXI平臺可以在有效、可信、可從復(fù)的環(huán)境下對系統(tǒng)進(jìn)行測試，以便及早發(fā)現(xiàn)問題并整改。NI PXI平臺在以下幾個方面具有獨特的優(yōu)勢：

（1）提供圖形化軟件開發(fā)環(huán)境和良好的人機(jī)交互元素，重點關(guān)注應(yīng)用程序開發(fā)，無需關(guān)注底層驅(qū)動，人機(jī)界面易開發(fā)；

（2）良好的實時性，保證數(shù)據(jù)采集和測試的時序要求和實時性，能夠運行復(fù)雜的車輛模型；

（3）系統(tǒng)可靠性、集成度高，可擴(kuò)展性好；

（4）具有很好開放性和擴(kuò)展性，能夠集成其他軟件平臺開發(fā)的各種模型。

綜合NI EVS和PXI的優(yōu)點，采用LabVIEW編程語言，通過VeriStand開發(fā)平臺集成仿真測試模型，開發(fā)了一套基于NI EVS和PXI的機(jī)器視覺輔助駕駛系統(tǒng)。

圖1 系統(tǒng)設(shè)計原理架構(gòu)圖

3  系統(tǒng)技術(shù)原理和設(shè)計架構(gòu)
針對機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)所面臨的難題及相應(yīng)的解決方案可知，設(shè)計的系統(tǒng)應(yīng)具有以下兩個功能：

（1）機(jī)器視覺系統(tǒng)的快速開發(fā)與實現(xiàn)。借助NI EVS平臺，將預(yù)先設(shè)定的需求功能通過編程實現(xiàn)，并保證整個硬件系統(tǒng)滿足功能需要。

（2）基于機(jī)器視覺的駕駛輔助功能的可信、有效和可重復(fù)的測試。借助NI PXI平臺，搭建一套虛擬測試系統(tǒng)，從而測試機(jī)器視覺開發(fā)部分出現(xiàn)的問題，以便及時整改，提高系統(tǒng)安全性能。

根據(jù)上述思想，系統(tǒng)設(shè)計原理架構(gòu)如圖1所示。

如圖1所示，整個平臺分為虛擬測試系統(tǒng)和機(jī)器視覺系統(tǒng)兩部分，兩部分由各自的硬件及軟件構(gòu)成。

在虛擬測試系統(tǒng)中，PC機(jī)1通過TCP/IP協(xié)議與仿真測試平臺連接，對仿真模型進(jìn)行參數(shù)配置。仿真測試平臺的主要功能是運行車輛動力學(xué)模型并采集虛擬駕駛艙輸出參數(shù)，仿真測試結(jié)果通過CAN通信的方式傳輸?shù)絇C機(jī)2，PC機(jī)2中運行的虛擬現(xiàn)實軟件將輸仿真測試平臺的輸出參數(shù)轉(zhuǎn)化為車輛運行效果并在虛擬駕駛艙中顯示出來。

機(jī)器視覺系統(tǒng)中，攝像頭采集虛擬駕駛艙中的虛擬駕駛場景，通過TCP/IP協(xié)議與視覺處理平臺連接，在視覺處理平臺編程實現(xiàn)機(jī)器視覺功能。

3.1  機(jī)器視覺系統(tǒng)
機(jī)器視覺系統(tǒng)部分的主要作用是，設(shè)計者根據(jù)事先要設(shè)定的需求，通過視覺處理系統(tǒng)，編程實現(xiàn)各類識別和檢測功能。

機(jī)器視覺系統(tǒng)的核心是NI EVS嵌入式視覺開發(fā)平臺，借助NI EVS平臺的重要原因之一就是考慮到LabVIEW編程語言的簡潔直觀性及視覺開發(fā)模塊Vision Development Module（VDM）出色的圖像處理能力。視覺開發(fā)模塊專用于開發(fā)和配置機(jī)器視覺應(yīng)用程序。它包含了數(shù)百種函數(shù)，可采集來自多種攝像頭的圖像，還可進(jìn)行各種圖像處理，包括圖像增強、檢查顯像、定位特性、識別對象和測量部件等。借助EVS硬件平臺及軟件編程環(huán)境可以快速實現(xiàn)設(shè)定功能，大大縮短了開發(fā)時間。

機(jī)器視覺系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 機(jī)器視覺系

圖3 虛擬測試系統(tǒng)結(jié)構(gòu)圖

虛擬現(xiàn)實軟件模擬出來的路況信息通過液晶顯示器顯示出來，由piA1000-60gc攝像頭采集并傳入NI EVS-1464（Windows）嵌入式視覺系統(tǒng)處理，根據(jù)預(yù)先設(shè)定的算法程序，完成機(jī)器視覺的功能。

3.2  虛擬測試系統(tǒng)
虛擬測試系統(tǒng)的主要作用是，提供一套有效、可信、可從復(fù)的虛擬環(huán)境，保證測試過程的實時性，便于及時發(fā)現(xiàn)問題并整改。

NI PXI平臺可以用來加快測試執(zhí)行時間、提高軟件開發(fā)效率、提高處理能力并增強可擴(kuò)展性，從而極大地縮減機(jī)器視覺系統(tǒng)的開發(fā)投入。

根據(jù)以上原則，綜合考慮NI PXI平臺的特點，搭建了虛擬測試系統(tǒng)。

虛擬測試系統(tǒng)結(jié)構(gòu)如圖3所示。

NI PXI-8513主要采集方向盤轉(zhuǎn)角信息，它作為單端口軟件可選的控制器局域網(wǎng)絡(luò)(CAN) PXI接口，適合在Windows與LabVIEW實時(Real-Time)操作系統(tǒng)上的NI LabVIEW、NI LabWindows/CVI和C/C++中開發(fā)CAN應(yīng)用程序。

NI PXI-7841R數(shù)字RIO板卡采集油門踏板信息，它提供的可編程FPGA芯片，適合板載處理和靈活的I/O操作。用戶可借助NI LabVIEW圖形化程序框圖和NI LabVIEW FPGA模塊，配置各項模擬和數(shù)字功能。該程序框圖在硬件中運行，有助于直接及時地控制全部I/O信號，實現(xiàn)各項優(yōu)越性能。

NI PXIe-8135運行車輛動力學(xué)模型，它是基于Intel Core i7-3610QE處理器的高性能嵌入式控制器，可用于PXI系統(tǒng)。結(jié)合2.3 GHz基頻、3.3 GHz（單核Turbo Boost模式）四核處理器和雙通道1600 MHz DDR3內(nèi)存，該控制器非常適合用于處理器密集型模塊化儀器和數(shù)據(jù)采集應(yīng)用。

車輛動力學(xué)模型接收到方向盤轉(zhuǎn)角、油門踏板等信息，然后車輛模型進(jìn)行相應(yīng)的運動，為了更加直觀的顯示運動效果，車輛動力學(xué)模型的輸出連接到虛擬現(xiàn)實軟件CarMaker，結(jié)合CarMaker提供的不同交通場景，進(jìn)一步提高測試過程的真實有效性。

圖5 車道線檢測的labview程序

圖4 車道線檢測算法流程

4  軟件實現(xiàn)
考慮的整個系統(tǒng)所具備功能主要分為兩塊，因此軟件實現(xiàn)也分為兩部分，即：機(jī)器視覺軟件實現(xiàn)和虛擬測試軟件實現(xiàn)。

4.1   機(jī)器視覺軟件實現(xiàn)
基于機(jī)器視覺的輔助駕駛系統(tǒng)可以實現(xiàn)很多功能，例如車道線檢測、行人檢測、交通信號及標(biāo)志牌識別、汽車夜視系統(tǒng)等。借助本開發(fā)平臺，可以將新的創(chuàng)意在該平臺通過編程快速實現(xiàn)，并進(jìn)行試驗驗證。

下面以車道線檢測的實現(xiàn)過程為例介紹基于NI EVS平臺的軟件實現(xiàn)。

車道線檢測的主要功能是，借助機(jī)器視覺平臺，提供車輛在結(jié)構(gòu)化道路行駛過程中偏離車道中心線的距離及航向角等信息，當(dāng)車輛中加入車道偏離預(yù)警功能后，可以在車輛將要偏離車道邊界時，向駕駛員發(fā)出預(yù)警，從而保證車輛的安全行駛。

車輛擋風(fēng)玻璃上裝設(shè)的攝像頭采集前方路況信息，經(jīng)由EVS嵌入式視覺系統(tǒng)處理。為了保證系統(tǒng)的實時性、可靠性，原始視頻信息一般要經(jīng)過圖像裁剪、灰度化、邊緣檢測、二值化、直線檢測等處理，當(dāng)連續(xù)10幀圖像的車道線位置偏差不大時，可以認(rèn)定車輛行駛軌跡較為穩(wěn)定，因此可以縮小車道線搜索檢測區(qū)域，進(jìn)一步提高系統(tǒng)的實時性能。車道線檢測算法流程如圖4所示。

圖6 車輛動力學(xué)模型

圖7 Veristand系統(tǒng)配置及儀表顯示界面

圖8 Carmaker三維場景

視頻裁剪主要是除去天空等與車道線檢測無關(guān)的圖像信息，減少需要處理的圖像數(shù)據(jù)，減少無關(guān)干擾，提高系統(tǒng)的實時性與準(zhǔn)確性。使用的控件為IMAQ Extract VI。

灰度化的功能是，在不影響車道線檢測的前提下，將原始的彩色圖像轉(zhuǎn)化為灰度圖像，進(jìn)一步減小需要處理的數(shù)據(jù)量。使用的控件是IMAQ ExtractSingleColorPlane VI。

邊緣檢測的目的是突出車道線邊緣，因為車道線檢測主要是依據(jù)車道邊緣的信息。使用的控件是IMAQ EdgeDetection VI，選擇的邊緣檢測算法為Sobel算法。

二值化的作用是在邊緣檢測的基礎(chǔ)上進(jìn)一步簡化圖像信息，通過設(shè)定閾值，使高于閾值的像素點灰度值為1，低于閾值的像素點灰度值為0。使用的控件是IMAQ AutoBThreshold 2 VI，選擇的二值化算法是inter-class variance算法。

直線檢測就是在設(shè)定的區(qū)域內(nèi)設(shè)定參數(shù)檢測車道線。這里使用的控件是IMAQ Find Edge VI，算法選擇Hough變換。

當(dāng)連續(xù)10幀圖像的車道線位置偏差不大時，為減小數(shù)據(jù)處理量，提高系統(tǒng)的實時性，可以通過Kalman濾波跟蹤車道線將要出現(xiàn)的區(qū)域（ROI），然后在該區(qū)域進(jìn)行車道線檢測，減少了車道線檢測的搜索面積。

車道線檢測的labview程序如圖5所示。

圖9 輔助駕駛系統(tǒng)實物

圖10 不同路況車道線檢測效果
 

4.2   虛擬測試軟件實現(xiàn)
虛擬測試軟件的功能主要包括以下三個部分：車輛動力學(xué)模型搭建、Veristand配置及儀表顯示、Carmaker三維場景建模。

車輛動力學(xué)模型是整個虛擬測試平臺的基礎(chǔ)，搭建出一套符合實際車輛性能的模型可以保證測試過程更加有效可信。借助MATLAB/Simulink搭建的車輛動力學(xué)模型如圖6所示。

Veristand在虛擬測試系統(tǒng)中起集成作用，它主要完成以下三個功能：

（1）將車輛動力學(xué)模型導(dǎo)入到PXI平臺；

（2）生成虛擬儀表，利用操作界面實時在線監(jiān)控運行任務(wù)并與之交互；

（3）配置IO口、CAN通信數(shù)據(jù)連接關(guān)系。

Veristand系統(tǒng)配置及儀表顯示界面如7所示。

Carmaker三維場景可以把車輛模型的輸出以運動的效果顯現(xiàn)出來。Veristand通過CAN通信的方式，將車輛模型的輸出數(shù)據(jù)傳遞給Carmaker軟件，Carmaker搭建不同的路況環(huán)境，使測試過程更加多樣化。Carmaker三維場景如圖8所示。

虛擬測試部分的軟件將采集到的油門、方向盤等信息傳輸給在PXI中運行的車輛動力學(xué)模型，車輛模型仿真的動態(tài)效果在虛擬現(xiàn)實軟件CarMaker中顯現(xiàn)出來。其中，車輛動力學(xué)模型在MATLAB中搭建，通過仿真測試平臺VeriStand對模型配置，借助PXI平臺的優(yōu)越性，使得仿真測試過程更加流暢，實時性更高。

5  集成和應(yīng)用
將EVS部分及PXI部分的硬件和軟件分別集成到一起，完成基于NI EVS和PXI的機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)。其實物如9圖所示。

下面結(jié)合車道線檢測的開發(fā)，介紹基于機(jī)器視覺輔助駕駛技術(shù)平臺的運用。

在CarMaker中搭建不同的路況，在機(jī)器視覺系統(tǒng)通過編程設(shè)計，部分檢測結(jié)果如圖10所示。

其中圖a路況信息最簡單，不存在干擾情況，圖b中存在一個十字路口，圖c中存在道路交通標(biāo)志，圖d中出現(xiàn)了彎道。從圖10可以看出，在無干擾情況下，可以正確的檢測出車道線，當(dāng)存在十字路口、交通標(biāo)志時，依然能檢測出車道線，當(dāng)存在彎道情況時，無法準(zhǔn)確檢測出車道線，這主要是在車道線檢測算法中未考慮曲線檢測的算法所致，需要在后續(xù)的開發(fā)過程中完善。

6   結(jié)論
針對基于機(jī)器視覺的輔助駕駛系統(tǒng)開發(fā)面臨的難題，在分析系統(tǒng)需求的基礎(chǔ)上，借助NI EVS和PXI平臺，通過硬件設(shè)計和軟件編程，完成了此系統(tǒng)的開發(fā)。通過對車道偏離預(yù)警（LDW）功能的設(shè)計與測試，證明該系統(tǒng)可以在機(jī)器視覺的輔助駕駛開發(fā)中運用。

該系統(tǒng)充分利用了NI EVS平臺出色的圖像處理能力及PXI平臺強大的仿真測試功能。在機(jī)器視覺功能開發(fā)階段，EVS的硬件平臺及軟件資源可以幫助設(shè)計者快速完成建模及編程等步驟，縮短了研發(fā)的周期。PXI平臺的可靠性高，現(xiàn)場能力強，實時性好，軟硬件集成度高，可擴(kuò)展性好等特點，在有限投入下，實現(xiàn)了機(jī)器視覺駕駛輔助系統(tǒng)的虛擬測試。EVS平臺和PXI平臺的兼容性好，兩者結(jié)合，加快了機(jī)器視覺輔助駕駛技術(shù)從創(chuàng)意到產(chǎn)品的實現(xiàn)過程，并為其早日投入量產(chǎn)進(jìn)而提高汽車主動安全性能打下基礎(chǔ)。