采用動態(tài)可重構(gòu)技術(shù)的產(chǎn)品示例。迄今已被富士施樂一體機及索尼廣播電視專業(yè)設(shè)備等采用。而且,新的采用案例有富士膠片數(shù)碼相機“F550EXR”,以及卡西歐計算機數(shù)碼相機“EX-TR100”等。
動態(tài)可重構(gòu)(Dynamic Reconfigurable)技術(shù)的應(yīng)用范圍不斷擴大。除了商用一體機及數(shù)碼相機等高價位電子產(chǎn)品外,應(yīng)用范圍還擴展到了實際售價為1萬日元左右的數(shù)碼相機產(chǎn)品。
動態(tài)可重構(gòu)技術(shù)在擁有與專用邏輯電路(硬連線電路,Hard-Wired Circuit)相當(dāng)?shù)奶幚硇阅艿耐瑫r,還能夠像軟件一樣靈活改變電路構(gòu)成。以前采用范圍以辦公一體機及廣播電視專業(yè)攝像機等百萬日元以上的高價位電子產(chǎn)品為中心,而最近終于開始向數(shù)萬日元的低價位消費類電子產(chǎn)品全面普及注1)。近一年來,有多家數(shù)碼相機廠商表示已在自己的產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù)。其中也含有實售價格為1萬日元左右的產(chǎn)品。
注1)以前在低價消費類電子產(chǎn)品領(lǐng)域,只有索尼在便攜音樂播放器及游戲機上采用了自主開發(fā)的有關(guān)技術(shù)。
在這些廠商中率先采用的是卡西歐計算機。該公司在2010年11月上市的“HIGH SPEED EXILIM”系列數(shù)碼相機機型“EX-ZR10”上,配備了采用動態(tài)可重構(gòu)技術(shù)的圖像處理LSI“EXILIM引擎HS”。包括該機型在內(nèi),卡西歐計算機已在“EX-ZR100”、“EXH20G”及“EX-TR100”合計四款機型上采用了動態(tài)可重構(gòu)技術(shù)(圖1、圖2)。
圖1:采用動態(tài)可重構(gòu)技術(shù)的數(shù)碼相機
卡西歐計算機和富士膠片分別宣布已在自己的數(shù)碼相機產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù)??ㄎ鳉W計算機在“EXILIM引擎HS”上、富士膠片在“EXR處理器”上采用了該技術(shù)。
圖2:圖像處理LSI的內(nèi)部構(gòu)成
圖中列出了卡西歐計算機及富士膠片分別公開的圖像處理LSI的內(nèi)部構(gòu)成(a、b)。相似點是都具備兩個CPU內(nèi)核。
在卡西歐計算機發(fā)布相關(guān)產(chǎn)品4個月后,2011年2月富士膠片也展開了行動。富士膠片發(fā)布的“FinePix”系列數(shù)碼相機中,有“F550EXR”、“HS20 EXR”及“X100”三款機型配備了采用該技術(shù)的圖像處理LSI“EXR處理器”。
通過微細(xì)化使成本達到可以接受的水平
眾多數(shù)碼相機廠商接連采用動態(tài)可重構(gòu)技術(shù)的原因主要有兩點。
第一是微細(xì)化的發(fā)展使該技術(shù)的最大瓶頸即電路規(guī)模的尺寸達到了可以接受的程度。消費類電子產(chǎn)品中使用的ASIC也開始越來越多地采用45nm工藝以后的制造技術(shù),因此在數(shù)碼相機等低價消費類電子產(chǎn)品中采用該技術(shù)的巨大電路時,成本也已變得合算。
動態(tài)可重構(gòu)技術(shù)一般采用呈陣列狀排列大量(數(shù)十~1000個)8~32bit運算器(ALU)的架構(gòu)。因此,處理性能遠遠高于運算器數(shù)量最多限制在10個左右的DSP等。但另一方面卻存在電路面積非常大,芯片單價往往也很高的問題。而且,為了能夠靈活改變電路構(gòu)成,還需要在運算器之間設(shè)置開關(guān),并使布線具有冗余性,因此與同樣采用大量運算器的硬連線電路相比,電路面積也往往較大。
動態(tài)可重構(gòu)技術(shù)從10年前亮相之初起就一直被公認(rèn)“其高成本是采用于實際產(chǎn)品時的瓶頸”,實際上以前多半是在商用電子產(chǎn)品上采用的。然而,隨著時間的推移,半導(dǎo)體制造技術(shù)的微細(xì)化得到順利推進,由此,動態(tài)可重構(gòu)技術(shù)終于能夠在1萬日元左右的消費類電子產(chǎn)品上使用了注2)。
注2)FPGA與動態(tài)可重構(gòu)技術(shù)一樣,隨著微細(xì)化的發(fā)展開始越來越多地采用于消費類電子產(chǎn)品。但是,與將8~32bit運算器作為構(gòu)件的動態(tài)可重構(gòu)技術(shù)相比,F(xiàn)PGA的構(gòu)件由進行單純邏輯運算的LUT(Look-up Table)構(gòu)成,構(gòu)成陣列的構(gòu)件的粒度較細(xì)。因此,實施媒體處理等操作的話,動態(tài)可重構(gòu)技術(shù)的面積效率一般高于FPGA。
三項可編程性
動態(tài)可重構(gòu)技術(shù)開始在數(shù)碼相機中配備的另一原因在于,圖像處理LSI必須要在多種情況下具備出色的可編程性,也就是說必須要具備像軟件那樣的“靈活性”。具體體現(xiàn)在①電子產(chǎn)品的開發(fā)時、②供貨后使用電子產(chǎn)品時,以及③開發(fā)新一代機型時。
其中尤其重要的是②使用電子產(chǎn)品時的可編程性。要想作為廠商保持獨創(chuàng)性,大量配備與其他公司相比容易形成賣點的功能的話,憑借硬連線電路及DSP等動態(tài)可重構(gòu)技術(shù)以外的方法是很難實現(xiàn)的。
比如,卡西歐計算機在該公司配備動態(tài)可重構(gòu)技術(shù)的首款機型EX-ZR10中導(dǎo)入了稱為“HDR(High Dynamicrange)藝術(shù)”及“多幀超分辨率”的獨創(chuàng)功能。兩種功能均使用于高速連拍的圖像,前者通過合成多張圖像來生成動態(tài)范圍大的圖像,并在此基礎(chǔ)上由LSI對圖像內(nèi)進行分析,局部調(diào)整色彩飽和度和對比度,輸出繪畫風(fēng)格的圖像(圖3)。而后者則利用多幀圖像來提高分辨率。
圖3:復(fù)雜化的數(shù)碼相機圖像處理
數(shù)碼相機的圖像處理正在向多功能化及復(fù)雜化發(fā)展,比如重疊高速拍攝的多張圖像,制作出HDR圖像或形成繪畫風(fēng)格。照片中的是卡西歐“EXZR100”利用“HDR藝術(shù)”功能的輸出示例。
富士膠片也導(dǎo)入了獨創(chuàng)功能,比如識別攝影場景后從多達49種模式的畫質(zhì)設(shè)定中選擇最佳設(shè)定的“PREMIUM EXRAUTO”,以及通過經(jīng)由圖像處理來尋找對焦點的對比度AF來設(shè)定多達49個測距點。估計為實現(xiàn)這些功能采用了動態(tài)可重構(gòu)技術(shù)。
易于導(dǎo)入具有挑戰(zhàn)性的功能
要想在攝影時對超千萬像素的圖像基本同步實施計算量如此大的復(fù)雜處理,憑借DSP及以往的SIMD型處理器處理性能會不足。實現(xiàn)手段僅限于像硬連線電路或動態(tài)可重構(gòu)技術(shù)那樣,能夠使用大量運算器組成長管線,或者能夠?qū)Υ罅肯袼貙嵤┎⑿刑幚淼姆椒ā?/p>
不過,從硬連線電路來看,要想導(dǎo)入比如A~C三種功能時,一般需要單獨準(zhǔn)備3種電路,芯片面積往往會變?yōu)?倍。假如A~C功能中含有成為電子產(chǎn)品賣點但實際使用頻率又很低的利基功能的話,由此占用的大量芯片面積就會使成本效率變差。
而動態(tài)可重構(gòu)技術(shù)具備②中所述的使用電子產(chǎn)品時的可編程性,能夠在運行中動態(tài)改變電路構(gòu)成。因此,即便是使用頻率再低的利基功能,只要在營銷及銷售觀點上斷定其具有效果,也可不受芯片面積增加的不利影響,輕松導(dǎo)入。其原因是,采用動態(tài)可重構(gòu)技術(shù)的話,只要是在固定的運算器陣列內(nèi)實施處理,無論想要追加多少種功能,電路面積都不會成倍增加(圖4)。不運行的電路不會“耗費”芯片面積,平時隱藏在后臺的存儲器中注3)。
圖4:動態(tài)可重構(gòu)技術(shù)的特點以及與其他技術(shù)間的比較
在對電子產(chǎn)品進行設(shè)計時、供貨后以及開發(fā)新一代機型時等多種階段,動態(tài)可重構(gòu)技術(shù)發(fā)揮優(yōu)點的情況日趨增加。
注3)這一特性被比作虛擬存儲器,稱為“虛擬電路”。虛擬電路在切換多種處理時也很有效,但即便是一種處理,與規(guī)模超出運算器陣列的電路相比,也同樣具有能夠以適當(dāng)級數(shù)折疊管線,以分時方式安裝的優(yōu)點。富士施樂在一體機上就采用了這種方法。
雖然動態(tài)可重構(gòu)技術(shù)還要看其架構(gòu)如何,但在安裝大約3種以上具有某種復(fù)雜程度的功能時,在芯片面積這一點上,還是比硬連線電路更為有利。無論卡西歐計算機還是富士膠片,都未公布采用動態(tài)可重構(gòu)技術(shù)具體安裝了多少種功能等細(xì)節(jié),但可以推測的是,采用動態(tài)可重構(gòu)技術(shù)時上述判斷起到了一定作用。
還可降低開發(fā)時的風(fēng)險
另外,如③所述的開發(fā)新一代機型時的可編程性也很重要。硬連線電路的話,即使想要對以往機型的圖像處理算法加以修正、追加功能,不重新制作數(shù)億日元的掩膜的話,也是不可能實現(xiàn)的。而動態(tài)可重構(gòu)技術(shù)的話只需與固件一樣,在存儲器上追加新的電路數(shù)據(jù)即可(圖4)。這樣便可延長一次投入的圖像處理LSI的“產(chǎn)品壽命”。
實際上,富士膠片就曾表示,采用動態(tài)可重構(gòu)技術(shù)的EXR處理器今后“還有進步的余力”。另外,由于無需在掩膜中嵌入電路數(shù)據(jù),因此與通常的固件開發(fā)一樣,直到電子產(chǎn)品馬上要供貨之前,都可致力于電路構(gòu)成的優(yōu)化及驗證工作(圖4)。而且,缺陷的修正等也比硬連線電路容易得多注4)。
注4)目前在MCU領(lǐng)域中,掩膜ROM產(chǎn)品已被閃存ROM產(chǎn)品取代,而在系列LSI領(lǐng)域中,硬連線電路向動態(tài)可重構(gòu)技術(shù)的過渡也可以說是類似現(xiàn)象。
除了一體機、攝像機及數(shù)碼相機等與圖像相關(guān)的電子產(chǎn)品之外,動態(tài)可重構(gòu)技術(shù)今后還將充分利用上述可編程性,在其他電子產(chǎn)品領(lǐng)域取代硬連線電路及DSP。比如東芝表示,在無線通信領(lǐng)域的基帶處理電路方面,動態(tài)可重構(gòu)技術(shù)對電路面積及耗電量也同樣有利。而且,隨著智能電話及平板終端越來越多地導(dǎo)入WAN及無線LAN等多種無線通信方式,該技術(shù)還有望配備到這些電子產(chǎn)品上。
STP引擎具有設(shè)計工具優(yōu)勢,DAPDNA推出新版產(chǎn)品
目前已進入實用階段的動態(tài)可重構(gòu)技術(shù)有瑞薩電子的“STP(Stream Transpose)引擎”(基于原有的DRP)、東京計器的“DAPDNA”系列、索尼的“VME(Virtual Mobile Engine)”,以及松下的“D-Fabrix”等。此外,還有很多企業(yè)在自主研發(fā)相關(guān)技術(shù),但真正使用到實際產(chǎn)品上的主要還是上述4種。
其中,以外銷為提前穩(wěn)步積累起采用業(yè)績的是瑞薩電子的STP引擎。以前已被索尼的多款廣播電視專業(yè)攝像機,以及風(fēng)險企業(yè)Yoozma的數(shù)字電視發(fā)送器等采用,但2011年6月瑞薩電子自己宣稱,該技術(shù)還被采用到了消費類數(shù)碼相機上 注5)。
注5)在動態(tài)可重構(gòu)技術(shù)方面,瑞薩電子憑借出色的研發(fā)成果以及在圖像處理產(chǎn)品中的應(yīng)用業(yè)績,于2011年5月獲得了日本電子信息通信學(xué)會頒發(fā)的“第47屆(平成22年度)業(yè)績獎”。在相關(guān)發(fā)布資料中,該公司稱STP引擎得到了數(shù)碼相機的采用。
瑞薩電子并未公布具體都有哪些企業(yè)的數(shù)碼相機采用了STP引擎。但如前所述,卡西歐計算機和富士膠片近一年來相繼在自己的數(shù)碼相機產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù),由此來看,兩公司的數(shù)碼相機采用的很可能是STP引擎的衍生技術(shù)。
雖然正在研發(fā)動態(tài)可重構(gòu)技術(shù)的企業(yè)有很多,但站在包括設(shè)計工具在內(nèi)的綜合觀點上,并以外銷為前提使該技術(shù)達到商用水平的,恐怕全世界只有瑞薩電子一家 注6)。
注6)動態(tài)可重構(gòu)技術(shù)的營銷難度要比普通處理器大,過去有很多企業(yè)都在相關(guān)業(yè)務(wù)上失敗過。比如,奧林巴斯著眼于在數(shù)碼相機等產(chǎn)品上的應(yīng)用,于2002年設(shè)立了動態(tài)可重構(gòu)技術(shù)的專業(yè)企業(yè)AOI技術(shù)公司,但之后因客戶拓展不利,該公司于2007年被解散。另外,開發(fā)出DAPDNA的IPflex公司也由于營銷失敗等原因陷入了破產(chǎn)。
當(dāng)然,也不能說卡西歐計算機及富士膠片在動態(tài)可重構(gòu)技術(shù)的架構(gòu)方面就毫無自主開發(fā)的可能性。但是,這兩家公司在動態(tài)可重構(gòu)技術(shù)的基本架構(gòu)方面并未取得類似專利,因此自主開發(fā)的途經(jīng)頗顯薄弱。富士膠片雖然已就動態(tài)可重構(gòu)技術(shù)在圖像處理中的應(yīng)用方法申請了多項專利,但這些專利與架構(gòu)并不相關(guān) 注7)。
注7)富士膠片已就動態(tài)可重構(gòu)技術(shù)在數(shù)碼相機領(lǐng)域的應(yīng)用方法申請了專利,而且還在內(nèi)窺鏡等醫(yī)療器械領(lǐng)域申請了同樣的專利。該公司今后將在所有圖像處理產(chǎn)品中采用動態(tài)可重構(gòu)技術(shù)。
索尼及松下開發(fā)的技術(shù)主要用于自己的產(chǎn)品,而東京計器的DAPDNA尚未達到能夠在ASIC上作為IP內(nèi)核使用的設(shè)計水平。
另外,卡西歐計算和富士膠片都未在這方面接受過《日經(jīng)電子》的采訪,而且,對于自己的產(chǎn)品是否采用了瑞薩電子的STP引擎,這兩家公司和瑞薩電子都回答說“無可奉告”。
沿用高層次綜合工具
瑞薩電子的STP引擎能夠?qū)?yīng)用范圍從專業(yè)廣播電視設(shè)備穩(wěn)步拓展至消費類數(shù)碼相機產(chǎn)品,其原因在于該公司在技術(shù)上有著豐富的積累。STP引擎本來是原NEC電子與NEC中央研究所共同開發(fā)的,包括改進后的技術(shù)在內(nèi)的話,已擁有近15年的歷史。
在設(shè)計工具方面,與其他眾多企業(yè)僅著眼于動態(tài)可重構(gòu)技術(shù)進行開發(fā)相比,STP引擎以已經(jīng)確立市場的、在ASIC設(shè)計領(lǐng)域積累了豐富業(yè)績的高層次綜合(行為級綜合)*工具為基礎(chǔ)。因此就STP引擎而言,雖然動態(tài)可重構(gòu)技術(shù)的市場目前仍處于黎明期,但其設(shè)計環(huán)境的完善度已達到很高水平。
在STP引擎中,瑞薩電子尤為重視的一點是,即使是不熟悉固件設(shè)計的普通軟件技術(shù)人員及算法設(shè)計人員,也可輕松地設(shè)計和優(yōu)化動態(tài)可重構(gòu)技術(shù)的電路。具體來說,除了能夠以高層次綜合工具為基礎(chǔ)利用C語言進行設(shè)計之外,最近還在DMA處理方面充實了各種模板,即使是不精通系統(tǒng)LSI的內(nèi)部架構(gòu),也可輕松優(yōu)化電路構(gòu)成。
一般而言,用動態(tài)可重構(gòu)技術(shù)的運算器陣列開始實施數(shù)據(jù)處理時,需要利用DMA控制電路從主存儲器等的DRAM向運算器陣列的RAM單元及寄存器讀入數(shù)據(jù)。對這些從主存儲器轉(zhuǎn)移數(shù)據(jù)的操作實施優(yōu)化的話,還會影響主存儲器的延遲時間以及內(nèi)部總線的構(gòu)成等,因此對普通軟件技術(shù)人員來說門檻較高。
STP引擎將這些與DMA相關(guān)的處理事先匯總成了模板。這樣,便可輕松實施諸如將某項功能向什么模塊做分割并行化處理的全局性優(yōu)化。比如,Yoozma的數(shù)字電視發(fā)送器,其數(shù)字電視的基帶處理當(dāng)初需要使用4塊芯片的STP引擎。但后來通過使用模板嘗試多種模塊分配,最終將芯片數(shù)量優(yōu)化為了兩塊(圖5)。
圖5:利用瑞薩電子的STP引擎實施優(yōu)化的示例
圖中列出了微波數(shù)字電視發(fā)送設(shè)備的設(shè)計優(yōu)化過程。在最初試行時使用4塊芯片的STP引擎,但最終優(yōu)化為了兩塊芯片的構(gòu)成。(圖片源自瑞薩電子)
DAPDNA也走向復(fù)活
被富士施樂作為圖像處理加速器采用于辦公一體機等的東京計器DAPDNA系列也從暫時的動蕩中擺脫出來,正順利走向復(fù)活。開發(fā)出DAPDNA的原IPflex公司由于營銷戰(zhàn)略失誤等于2009年7月申請進入破產(chǎn)程序,在債務(wù)清理過程中,曾為DAPDNA用戶的東京計器并入了原IPflex公司的核心技術(shù)人員,并接手了銷售、開發(fā)及客服等全部業(yè)務(wù)。
由于富士施樂等今后有意繼續(xù)使用DAPDNA,因此東京計器決定開發(fā)新版芯片。作為富士施樂采用的圖像處理芯片“DAPDNA-IMX”的后續(xù)產(chǎn)品,將投放“DAPDNA-IM2”(表1)。
新版芯片在保持運算器數(shù)量與原產(chǎn)品同為1000個左右的同時,將制造技術(shù)從90nm工藝微細(xì)化到了65nm工藝,降低了制造成本,有望培育成贏利業(yè)務(wù)。與原產(chǎn)品相比,雖然運算器數(shù)量一樣,但工作頻率提高到了約1.5倍,性能更高。