2015年2月1日,來自中科院電子所、中科院微電子所、電子六所的等科研單位,華為、清華同方、大唐移動、展訊通信等知名企業(yè),以及北京大學(xué)、北京航空航天大學(xué)、北京郵電大學(xué)、北京工業(yè)大學(xué)等高等院校的40余位視頻圖像處理愛好者和FPGA愛好者共聚一堂,參加了電子技術(shù)應(yīng)用?Tech-Workshop之“FPGA與圖像處理技術(shù)研討會”,共同打造工程師的圈子生活。
本次研討會上,來自清華大學(xué)電子工程系的副教授喬飛博士、Xilinx渠道FAE經(jīng)理張寧、NVIDIA高級客戶工程師雷昊、某CDN公司流媒體研發(fā)總監(jiān)劉岐與聽眾分享了當(dāng)前市場環(huán)境下圖像處理技術(shù)的最新發(fā)展趨勢以及FPGA在視頻圖像處理中的應(yīng)用。
智能圖像處理硬件加速關(guān)鍵技術(shù)
圖 清華大學(xué)電子工程系的副教授喬飛博士
喬飛博士所在的iVip項(xiàng)目組的研究方向是iVip(Integrated Vision, Intelligent Perception),其部分工作涉及的正是面向智能圖像信號處理的硬件加速技術(shù)與實(shí)現(xiàn)。他指出,多媒體傳感器網(wǎng)絡(luò)已經(jīng)成為未來的一個重要發(fā)展方向,無論在學(xué)術(shù)界還是工業(yè)界都得到了廣泛的應(yīng)用。我們通過在圖像傳感器節(jié)點(diǎn)上附加處理能力,使其具備一定的智能處理或信息提取的功能,并以此來解決存儲密集型應(yīng)用中單片F(xiàn)PGA處理能力不足的問題。此外,喬飛博士還以好奇號火星車、玉兔號月球車、當(dāng)前市場上廣受關(guān)注的Google glass和未來會出現(xiàn)的接觸鏡為例,形象而生動的說明了智能圖像信號處理技術(shù)廣闊的應(yīng)用前景。
面對這些應(yīng)用場景,傳統(tǒng)的圖像和視頻感知設(shè)備存在多方面的問題,例如,數(shù)據(jù)處理能力不足以應(yīng)對計算和存儲密集型應(yīng)用、帶寬不夠、功耗過高、安全、隱私和數(shù)據(jù)完整性無法保障等。對此,智能傳感器圖像采集設(shè)備的解決辦法是將服務(wù)器端的信號處理能力與分布式智能節(jié)點(diǎn)的處理能力做均衡與劃分,要求智能采集設(shè)備具有一定的處理能力,從而大幅降低傳輸?shù)男畔⒘?同時,通過將傳感器和處理器集成在一起,可有效降低功耗與成本。喬飛博士表示,隨著CMOS工業(yè)的逐漸穩(wěn)定以及VLSI技術(shù)和計算機(jī)視覺技術(shù)的日益成熟,智能傳感器圖像采集設(shè)備成為必然趨勢。
喬飛博士指出,針對不同的應(yīng)用,在為智能圖像處理模塊選擇處理器時要考慮物理約束(尺寸、功耗、IO等)、設(shè)計約束(時間成本、金錢成本)、外圍電路的需求以及計算的約束(處理功耗、可編程性、軟硬件應(yīng)用靈活性)。之后,他比較了市場上幾種智能圖像處理模塊的實(shí)現(xiàn)方式。其中,集成ARM處理器的實(shí)現(xiàn)方案其攝像頭只可做運(yùn)動檢測和簡單特征的識別,集成SIMD處理器的實(shí)現(xiàn)方案功耗過高,相比這二者而言,基于FPGA實(shí)現(xiàn)的智能圖像處理模塊成為更佳的選擇。
最后,喬飛博士詳細(xì)介紹了基于FPGA的硬件加速實(shí)現(xiàn)的雙目立體視覺系統(tǒng)?；驹硎菑膬蓚€視點(diǎn)觀察同一場景,獲取不同視角下的圖像對,通過三角測量原理,匹配相應(yīng)的像素點(diǎn),計算視差,達(dá)到重構(gòu)場景三維幾何信息的目的?？蓱?yīng)用于機(jī)器人自主導(dǎo)航、航空和遙感測繪、工業(yè)自動化檢測、醫(yī)學(xué)成像和虛擬現(xiàn)實(shí)等領(lǐng)域。
Xilinx視頻圖像處理解決方案
圖 Xilinx渠道FAE經(jīng)理張寧
與喬飛博士提出的“Smart Camera”不謀而合,Xilinx也早已提出“Smart Vision”的概念。張寧指出,無論是在汽車輔助駕駛ADAS、無人機(jī)UAV、安防監(jiān)控還是機(jī)器視覺等應(yīng)用領(lǐng)域,實(shí)時分析都已經(jīng)成為一個主流的需求。同時,在顯示端,使用者也對顯示畫面提出超高清、3D或其他特殊顯示特性的需求。其中,Xilinx尤為關(guān)注實(shí)時智能分析、智能傳輸和情景式顯示。針對汽車、機(jī)器視覺、廣播與醫(yī)療、安防監(jiān)控等不同的應(yīng)用領(lǐng)域,Xilinx都提出了不同的應(yīng)用關(guān)注點(diǎn),以解決智能視頻各環(huán)節(jié)(包括建立連接、編碼、視頻處理、圖像處理、傳輸、安全等)出現(xiàn)的問題。
張寧稱Xilinx為智能視頻領(lǐng)域的領(lǐng)導(dǎo)者。他表示, Xilinx的28nm產(chǎn)品完美支持智能視頻圖像的處理與傳輸、顯示,在該領(lǐng)域,Xilinx擁有3500家客戶,Xilin為他們提供優(yōu)化的解決方案,包括IP、工具和FPGA器件。
“為更好地支持Smart Vision,Xilinx努力做好兩方面的工作。一方面是SmartCore,基于Xilinx的IP、工具和器件;另一方面是軟件層面,即系統(tǒng)管理、控制與通信、視頻分析等工作。”張寧非?？隙ǖ卣f:“相比ASICs和ASSPs,Xilinx的完全可編程解決方案要更加智能?！?/span>
手機(jī)平板上的Camera Tuning
圖 NVIDIA高級客戶工程師雷昊
雷昊的演講生動而形象,內(nèi)容涉及Camera調(diào)優(yōu)的方方面面,包括成像系統(tǒng)的基本結(jié)構(gòu)、手機(jī)平板成像系統(tǒng)的特征、如何評價一個成像系統(tǒng)以及Camera Tuning的基本流程。
“一個Camera從硬件上來說由光學(xué)部件(鏡頭)、機(jī)械部件、圖像傳感器、圖像處理器和微控制器/應(yīng)用處理器組成。”雷昊分析道:“而手機(jī)或平板上的Camera具有定焦(不可換鏡頭且鏡頭質(zhì)量不高)、模組之間差異相對大、后焦距短、傳感器小、單位像素面積小的特點(diǎn)?！睘榱俗屄牨妼κ謾C(jī)或平板上的Camera有更深刻的了解,雷昊對單反相機(jī)和手機(jī)上常用的Medium Format、Full Frame、APS-H、APS-C、4/3、1‘’、1/1.63‘’、1/2.3‘’、1/3.2‘’等幾種規(guī)格的Camera做了參數(shù)與性能的對比。
雷昊指出,圖像的質(zhì)量與鏡頭、傳感器、ISP算法緊密相關(guān)。評價圖像質(zhì)量的基本客觀參數(shù)有清晰度、紋理細(xì)節(jié)、噪聲、動態(tài)范圍、色彩還原和鏡頭畸變。他表示:“一個完整的Camera Tuning流程,由驅(qū)動開發(fā)、挑選典型模組、基于典型模組生成基準(zhǔn)的ISP參數(shù)、客觀標(biāo)準(zhǔn)測試、細(xì)調(diào)ISP參數(shù)使客觀測試結(jié)果最優(yōu)、實(shí)際場景測試主觀效果和工廠校準(zhǔn)多個環(huán)節(jié)組成?！弊詈?雷昊介紹了Camera Tuning的軟件和工具,包括Imatest和DxO Analyzer兩款Camera Tuning的常用軟件以及24-patch ColorChecker、18% gray card、DxO Checkerboard、DxO Dots target和Kodak Q-13/14幾款Camera Tuning涉及到的工具。
基于Linux的FFMPEG
圖 某CDN公司流媒體研發(fā)總監(jiān)劉岐
劉岐就基于Linux的FFMPEG進(jìn)行了深入剖析,向聽眾描述了FFMPEG實(shí)現(xiàn)的轉(zhuǎn)碼系統(tǒng)、流媒體直播與點(diǎn)播以及流媒體應(yīng)用場景。
劉岐從FFMPEG的起源談起,所謂FFMPEG是一套由法國著名程序員Fabrice Bellard于2000年發(fā)起創(chuàng)建的開源項(xiàng)目,可以用來記錄、轉(zhuǎn)換數(shù)字音頻、視頻,并能將其轉(zhuǎn)化為流的開源計算機(jī)程序。應(yīng)用該程序,工程師可進(jìn)行編解碼、容器封裝解析、AVIO、音頻原始數(shù)據(jù)轉(zhuǎn)換(重采樣)、視頻原始數(shù)據(jù)轉(zhuǎn)換(色彩空間轉(zhuǎn)換)、音視頻處理(AVFilter)及后期處理(PostProc)。
“互聯(lián)網(wǎng)視頻可簡單的分為點(diǎn)播和直播,互聯(lián)網(wǎng)多媒體點(diǎn)播應(yīng)用到的協(xié)議有RTMP和HTTP(HLS、HTTP+FLV、HDS),互聯(lián)網(wǎng)多媒體直播應(yīng)用到的協(xié)議有HTTP。” 劉岐比較了這些協(xié)議的優(yōu)缺點(diǎn),并指出,FFMPEG均能對其提供良好的支持。
共同的興趣愛好使得現(xiàn)場的互動交流愉快而熱烈。至此,一場關(guān)于FPGA與圖像處理的盛會圓滿落下帷幕。下一站,《電子技術(shù)應(yīng)用》將攜手汽車電子行業(yè)資深人士,于上海舉辦電子技術(shù)應(yīng)用?Tech-Workshop之“新能源汽車充電技術(shù)”,繼續(xù)持力打造工程師的圈子生活!
workshop視頻觀看: