??? 隨著全球音視頻(AV)領(lǐng)域持續(xù)從模擬向著數(shù)字轉(zhuǎn)換，支持?jǐn)?shù)字音頻和視頻處理" title="視頻處理">視頻處理，包括電視機(jī)、DVD播放機(jī)、數(shù)字靜止圖像攝像機(jī)(DSC)、數(shù)字視頻刻錄機(jī)(DVC)的新型消費(fèi)電子設(shè)備的數(shù)量也持續(xù)快速攀升。近來，每一個(gè)便攜式個(gè)人電子設(shè)備似乎都配備了音視頻功能，包括移動(dòng)電話、便攜式媒體播放器和PDA。此外，個(gè)人電腦、各種聯(lián)網(wǎng)和寬帶技術(shù)也通過促進(jìn)創(chuàng)新、傳輸和共享內(nèi)容，在引爆這個(gè)轉(zhuǎn)換的過程中正發(fā)揮它們的作用。

??? 業(yè)內(nèi)要求制定國(guó)際壓縮標(biāo)準(zhǔn)的因素很多，以數(shù)字格式創(chuàng)新和共享內(nèi)容就是其中的關(guān)鍵之一。MPEG(移動(dòng)圖像專家組)和JPEG(聯(lián)合圖像專家組)委員會(huì)創(chuàng)造了各種原始的標(biāo)準(zhǔn)，使得從模擬AV到數(shù)字AV格式的轉(zhuǎn)換成為可能，容許通過網(wǎng)絡(luò)或便攜式存儲(chǔ)媒體(即DVD磁盤、SD卡等等)共享和傳輸多媒體內(nèi)容。然而，在消費(fèi)電子領(lǐng)域從內(nèi)容消費(fèi)向著內(nèi)容創(chuàng)新邁進(jìn)的過程中，隨著主要范例的轉(zhuǎn)換，對(duì)更高品質(zhì)內(nèi)容創(chuàng)新、更大量?jī)?nèi)容存儲(chǔ)和更方便的內(nèi)容傳輸/共享出現(xiàn)了越來越高的要求。

??? 在典型的AV產(chǎn)品中，視頻內(nèi)容占用了大多數(shù)的處理能力" title="處理能力">處理能力、存儲(chǔ)空間和通信信道帶寬。MPEG-2視頻壓縮技術(shù)有助于在從模擬向數(shù)字視頻處理轉(zhuǎn)換的過程。因此，它成為了消費(fèi)電子領(lǐng)域采用最廣泛的壓縮標(biāo)準(zhǔn)。H.264因具有較低的傳輸比特率且對(duì)存儲(chǔ)的要求較低，目前有望取代MPEG-2。這些改進(jìn)在對(duì)成本敏感的消費(fèi)產(chǎn)品、特別是便攜式消費(fèi)設(shè)備中是至關(guān)重要的。

??? H.264 (也稱為MPEG-4/AVC)標(biāo)準(zhǔn)是在2005年底由ITU-T和MPEG組織共同制定完成的。該標(biāo)準(zhǔn)從小尺寸(移動(dòng)AV)到高分辨率(HD)視頻等等寬的應(yīng)用范圍內(nèi)極大地改進(jìn)了MPEG-2壓縮率。H.264技術(shù)的許多應(yīng)用已經(jīng)被推出，包括藍(lán)光碟、HD-DVD、AVCHD刻錄機(jī)(HD-CAM)、iTune視頻、1-Seg數(shù)字電視(日本的移動(dòng)數(shù)字電視)以及歐洲手持?jǐn)?shù)字電視DVB-H，及其它產(chǎn)品。H.264獲得廣泛應(yīng)用的關(guān)鍵因素有兩條：

??? 1. 相對(duì)于MPEG-2，H.264的壓縮比提高了2到3倍，因此，極大地節(jié)省時(shí)間了視頻存儲(chǔ)容量和網(wǎng)絡(luò)帶寬。

??? 2. H.264有效地實(shí)現(xiàn)了基于互聯(lián)網(wǎng)的應(yīng)用，因?yàn)槠浞桨笓?jù)認(rèn)為能夠與網(wǎng)絡(luò)協(xié)議協(xié)調(diào)一致。網(wǎng)絡(luò)正在家庭、辦公場(chǎng)所和其它任何地方快速擴(kuò)張。有線和無線網(wǎng)絡(luò)的服務(wù)帶寬及質(zhì)量與日俱增，在這些網(wǎng)絡(luò)上的視頻流在有線電視、衛(wèi)星、IPTV及其它應(yīng)用中已經(jīng)普及。把H.264視頻壓縮技術(shù)和這種無處不在的寬帶網(wǎng)絡(luò)連接性結(jié)合起來，正在點(diǎn)燃一個(gè)移動(dòng)數(shù)字生活方式的新時(shí)代。

表1：消費(fèi)AV產(chǎn)品市場(chǎng)(日本)

??? 注：上圖(單位銷售量)由日本電子和信息技術(shù)行業(yè)協(xié)會(huì)(JEITA)及照相機(jī)和成像產(chǎn)品協(xié)會(huì)(CIPA)提供；2006年的數(shù)字根據(jù)從2006年1月到10月的銷售統(tǒng)計(jì)數(shù)字預(yù)測(cè)；對(duì)2007年的預(yù)測(cè)根據(jù)2006年的月度數(shù)字預(yù)測(cè)；在日本，大多移動(dòng)電話包括數(shù)碼相機(jī)；一定比例的3G移動(dòng)電話包含視頻電話及其服務(wù)；一定比例的移動(dòng)電話配備了1-seg DTV接收機(jī)。

??? 上表突出了下列要點(diǎn)：

• 便攜式消費(fèi)設(shè)備領(lǐng)域(移動(dòng)電話和數(shù)碼相機(jī))市場(chǎng)巨大且快速成長(zhǎng)
• 個(gè)人便攜式設(shè)備的演進(jìn)顯著地改變著我們的生活方式，特別是我們彼此之間交流溝通的方式

?? 除了在表1所示的便攜式市場(chǎng)變化之外，家庭中的視頻產(chǎn)品也正快速地向著高清晰(HD)品質(zhì)的產(chǎn)品轉(zhuǎn)換。類似地，視頻便攜式設(shè)備正轉(zhuǎn)向標(biāo)準(zhǔn)清晰度(SD)或從QVGA或更少的分辨率向VGA轉(zhuǎn)換。很顯然，在全球的消費(fèi)AV領(lǐng)域和市場(chǎng)存在一個(gè)趨勢(shì)：許多產(chǎn)品正成為個(gè)人移動(dòng)設(shè)備而不是桌面和以家庭為中心的設(shè)備。

??? H.264的先進(jìn)算法為AV聯(lián)網(wǎng)提供了更高的壓縮、更低的通信信道帶寬、更小的存儲(chǔ)要求和靈活的方案；然而，那些算法也需要更多的處理能力以實(shí)現(xiàn)對(duì)視頻內(nèi)容的編碼和解碼。顯然，對(duì)任何移動(dòng)設(shè)備的首要要求就是功耗更低，以延長(zhǎng)電池的使用時(shí)間。在下列部分，我們將概要介紹如何利用Qpixel公司的H.264壓縮IC來滿足便攜式消費(fèi)設(shè)備的視頻品質(zhì)和低功耗" title="低功耗">低功耗要求。

H.264和MPEG-2的概要技術(shù)對(duì)比

??? H.264作為ITU-T的長(zhǎng)期項(xiàng)目，其開發(fā)從1998年就開始了，目標(biāo)是用H.263和MPEG-4標(biāo)準(zhǔn)一半的比特率來實(shí)現(xiàn)相同的視覺品質(zhì)感受。與過去的視頻標(biāo)準(zhǔn) (MPEG-1/-2/-4, H.261/262/263)不同，H.264的努力方向是改善壓縮效率，而不是限制實(shí)現(xiàn)方案" title="實(shí)現(xiàn)方案">實(shí)現(xiàn)方案的復(fù)雜度。這就導(dǎo)致了現(xiàn)有的H.264實(shí)現(xiàn)方案需要足夠數(shù)量的計(jì)算能力，由此得到的H.264編碼器提供了經(jīng)改善的功能，其中的編碼器結(jié)構(gòu)和壓縮算法與MPEG-2完全不同。

H.264編碼器結(jié)構(gòu)

表2：H.264編碼器比MPEG-2編碼器優(yōu)越之處

??? 表3列出了H.264標(biāo)準(zhǔn)所提供的不同規(guī)范以及簡(jiǎn)要的描述和各種目標(biāo)應(yīng)用。

表3：H.264標(biāo)準(zhǔn)所提供的不同規(guī)范以及簡(jiǎn)要的描述和各種目標(biāo)應(yīng)用

?

??? 頭四個(gè)規(guī)范(Baseline、Main、Extended和High)被擴(kuò)展為面向消費(fèi)電子應(yīng)用，緊接著的三個(gè)規(guī)范 (High 10、High 4:2:2、High 4:4:4)被擴(kuò)展為針對(duì)非(專業(yè))消費(fèi)電子應(yīng)用。在此，也存在與MPEG-2類似的“Level”的定義。Level-3用于SD(標(biāo)準(zhǔn)清晰度: 720x480x30或720x576x25)，Level-4用于HD(高清晰度: 1920x1080x30或x25)。

Qpixel針對(duì)AV市場(chǎng)需求的方法和解決方案

??? 考慮到AV市場(chǎng)的需求和H.264的技術(shù)特征，我們把努力定位在下列方向：

• 適用于便攜式應(yīng)用的最低功耗的編解碼器；
• 高品質(zhì)標(biāo)準(zhǔn)清晰度視頻處理(同時(shí)關(guān)注將來的高清晰分辯率)；
• 滿足特定市場(chǎng)需求的專用H.264編解碼器" title="編解碼器">編解碼器算法和結(jié)構(gòu)。更為特別的是，我們選擇主規(guī)范的Level-3，它非常好的視頻品質(zhì)是標(biāo)準(zhǔn)清晰度應(yīng)用最適合的選擇。

??? 利用視頻壓縮技術(shù)的基本理論，推薦采取下列處理：

?

??? (a)人類的心理視覺系統(tǒng)忽視高頻紋理的細(xì)節(jié)；

??? (b)通過在許多可能的選項(xiàng)之間找到最佳的運(yùn)動(dòng)估值匹配，可以減少最終的比特率；

??? (c)熵編碼可以不損失信息而獲得最少的比特?cái)?shù)。

??? 項(xiàng)目(a)和(b)需要多次算法迭代才能找到人眼針對(duì)給定比特率的最佳感覺，項(xiàng)目(c)需要一種創(chuàng)新的實(shí)現(xiàn)方案。

??? 一般地說，編碼器需要生成符合標(biāo)準(zhǔn)的比特流，與此同時(shí)，在H.264標(biāo)準(zhǔn)中并沒有規(guī)定視頻品質(zhì)和壓縮效率。然而，我們的目標(biāo)是在低功耗的條件下以低比特率實(shí)現(xiàn)高品質(zhì)視頻。這些準(zhǔn)則就是我們努力的重點(diǎn)。下面概要介紹了我們的算法努力和方向：

• 在不犧牲壓縮效率的前提下，把高度順序處理的H.264句法鏈分割為更小數(shù)量的句法單元，因此，容許利用更為并行化的處理來突破處理能力的瓶頸；
• 在不犧牲視頻品質(zhì)的前提下，智能地預(yù)選更為有效的壓縮算法，因此，減少所需要的整體處理能力；
• 以高度可伸縮的方式來實(shí)現(xiàn)突發(fā)和依賴于內(nèi)容的CABAC特征，因此，為CABAC更為便于采用硬件來實(shí)現(xiàn)奠定了基礎(chǔ)；
• 從實(shí)現(xiàn)成本考慮，以最佳地平衡視頻品質(zhì)為目標(biāo)來實(shí)現(xiàn)B圖；
• 有效地重用數(shù)據(jù)以最大化我們的視頻算法的性能；
• 具有句法之間依賴性的高度順序的句法結(jié)構(gòu)；
• 長(zhǎng)期存儲(chǔ)器容許各個(gè)句法單元。

H.264對(duì)視頻品質(zhì)的貢獻(xiàn)

??? 我們的技術(shù)來源于對(duì)每一種編碼工具的全面和仔細(xì)的分析，揭示了H.264編碼器對(duì)視頻品質(zhì)以及在ASIC環(huán)境中的實(shí)現(xiàn)成本的貢獻(xiàn)。我們的技術(shù)組不偏不倚地從業(yè)已存在的編碼標(biāo)準(zhǔn)如MPEG-1/2/4開始著手，把重點(diǎn)放在H.264編碼器中每一個(gè)模塊的最佳成本性能優(yōu)勢(shì)上。除了視頻編碼算法之外，我們采用了高度智能的基于TDM的方案，以減少處理大量視頻數(shù)據(jù)所需要的數(shù)據(jù)流量，因此，進(jìn)一步降低了功耗。

??? 下面總結(jié)了對(duì)架構(gòu)的決策，它使我們能夠滿足物理設(shè)計(jì)的需要：

• Qpixel H.264視頻壓縮IC的設(shè)計(jì)目標(biāo)是滿足便攜式消費(fèi)設(shè)備市場(chǎng)的需求。眾所周知，H.264實(shí)現(xiàn)方案的復(fù)雜度幾乎是MPEG-2的十倍。為了實(shí)現(xiàn)高的視頻品質(zhì)并同時(shí)降低系統(tǒng)的功耗，我們提出了一種能夠感覺功耗的靈活的架構(gòu)，它利用最先進(jìn)的設(shè)計(jì)技術(shù)來減少裸片面積和功耗，與此同時(shí)，有效地處理數(shù)據(jù)流量以最大程度地提高效率，并使與外部存儲(chǔ)器交互作用所消耗的功率最小。
• 影響功耗的主要因素是IC時(shí)鐘樹。為了完全利用潛在的H.264編碼工具來實(shí)現(xiàn)高的視頻品質(zhì)，時(shí)鐘頻率必須被提高，以提供更大的處理能力。然而，以更高的頻率運(yùn)行IC直接增加了動(dòng)態(tài)功耗，所以，在選擇性能目標(biāo)和系統(tǒng)的功耗時(shí)需要采取折衷措施。
• 在給定的功耗目標(biāo)條件下實(shí)現(xiàn)最高的性能，要對(duì)IC進(jìn)行計(jì)劃以最小化外部存儲(chǔ)器的延遲周期，此外，要優(yōu)化總線仲裁機(jī)制以提高數(shù)據(jù)傳輸效率。

??? 根據(jù)上述考慮，我們實(shí)現(xiàn)了兩種創(chuàng)新方案，以減少與外部存儲(chǔ)器的數(shù)據(jù)交換。一種是幀映射方案，另一種是基于TDM的總線仲裁。TDM仲裁針對(duì)我們的視頻處理管線做了高度優(yōu)化，幀映射針對(duì)最大的DRAM帶寬做了優(yōu)化。我們仔細(xì)地評(píng)估了H.264壓縮工具，并在視頻品質(zhì)和DRAM帶寬需求之間做了折衷選擇。

?

結(jié)論和下一步的工作

??? 我們的獨(dú)特專利和正在申請(qǐng)專利的視頻算法及架構(gòu)，使得用最佳的方式來實(shí)現(xiàn)Qpixel H.264主規(guī)范編解碼器成為可能，從而滿足視頻產(chǎn)品對(duì)低功耗和高視頻品質(zhì)兩方面的需求。

??? 在下一代消費(fèi)AV產(chǎn)品中，存在對(duì)高清分辨率和品質(zhì)的需求。我們將繼續(xù)在算法和架構(gòu)技術(shù)上展開創(chuàng)新，以提供針對(duì)高清分辨率應(yīng)用的高度有競(jìng)爭(zhēng)力的解決方案。

參考文獻(xiàn)：

JVT-N050d1.doc

H.264 / AVC TEXTBOOK, Authored by S. Okubo et al, Impress Limited

Development of Video Coding Technology and Future Prospects, T. Chujo, Toshiba Review Vol.60 No.7, 2005

A Study for Bit-rate Control of H.264/AVC Coding, Y. Akima, Graduate Paper of Waseda University, 2004