摘? 要: 無線信道帶寬資源有限,干擾因素多,而視頻信號數據量大,實時性要求高,因此關于無線視頻傳輸技術的研究引起了國內外學者的廣泛興趣。本文從多個角度,分析了無線視頻技術的發(fā)展現狀,并指出進一步的發(fā)展方向。
?
隨著移動通信業(yè)務的增加,無線通信已獲得非常廣泛的應用。無線網絡除了提供語音服務之外,還提供多媒體、高速數據和視頻圖像業(yè)務。無線通信環(huán)境(無線信道、移動終端等)以及移動多媒體應用業(yè)務的特點對視頻圖像的編碼與傳輸技術提出了新的要求。面向無線通信的視頻圖像編碼與傳輸技術已成為當今信息科學與技術的前沿課題。
1 無線視頻傳輸技術面臨的挑戰(zhàn)
數字視頻信號具有如下特點:
· 數據量大
例如,移動可視電話一般采用QCIF分辨率的圖像,它有176X144=25344像素。如果每個像素由24位來表示,一幀圖像的數據量就達594kbit??紤]到實時視頻圖像傳輸要求的幀頻(電視信號每秒25幀),數據傳輸速率將達到14.5Mbps!
· 實時性要求高
人眼對視頻信號的基本要求是,延遲小,實時性好。而普通的數據通信對實時性的要求就比較低,因此相對普通數據通信而言,視頻通信要求更好的實時性。
無線環(huán)境則具有如下特點:
· 無線信道資源有限
由于無線信道環(huán)境惡劣,有效的帶寬資源十分有限。實現大數據量的視頻信號的傳輸,尤其在面向大眾的無線可視應用中,無線信道的資源尤其緊張。
· 無線網絡是一個時變的網絡
無線信道的物理特點決定了無線網絡是一個時變的網絡。
· 無線視頻的QoS保障
在移動通信中,用戶的移動造成無線視頻的QoS保障十分復雜。
由此可以看出,視頻信號對傳輸的需要和無線環(huán)境的特點存在尖銳的矛盾,因此無線視頻傳輸面臨著巨大的挑戰(zhàn)。一般來說,無線視頻傳輸系統(tǒng)的研究設計目標如表1所示。
?
事實上,表1中許多性能指標是相互制約的。例如,視頻圖像壓縮比的提高會增加編碼算法的復雜度,因此會影響算法的實時實現,并且可能降低視頻的恢復質量。
2 視頻壓縮編碼技術
視頻信息的數據量十分驚人,要在帶寬有限的無線網絡上傳送,必須經過壓縮編碼。目前國際上存在兩大標準化組織——ITU-T和MPEG——專門研究視頻編碼方法,負責制定統(tǒng)一的標準,方便各種視頻產品間的互通性。這些協(xié)議集中了學術界最優(yōu)秀的成果。
除各種基于國際標準的編碼技術外,還有許多新技術的發(fā)展十分引人注目。
2.1 基于協(xié)議的視頻壓縮編碼技術
國際電信聯盟(ITU-T)已經制定的視頻編碼標準包括H.261(1990年)、H.263(1995年)、H.263+(1998年),2000年11月份將通過H.263++的最終文本。H.26X系列標準是專門用于低比特率視頻通信的視頻編碼標準,具有較高的壓縮比,因此特別適合于無線視頻傳輸的需要。它們采用的基本技術包括:DCT變換、運動補償、量化、熵編碼等。H.263+和H.263++中更增加考慮了較為惡劣的無線環(huán)境,設計了多種增強碼流魯棒性的方法,定義了分級編碼的語法規(guī)則。
MPEG制定的視頻編碼標準有MPEG-1(1990年)、MPEG-2(1994年)、MPEG-4(完善中)。其中MPEG-1、MPEG-2基本已經定稿,使用的基本技術和H.26X相同。MPEG-1、MPEG-2的特點在于針對的應用主要是數字存儲媒體,碼率高,它們并不適于無線視頻傳輸。人們熟知的VCD、DVD是MPEG-1、MPEG-2的典型應用。隨后,MPEG組織注意到了低比特率應用潛在的巨大市場,開始和ITU-T進行競爭。在MPEG-4的制定中,不僅考慮了高比特率應用,還特別包含了適于無線傳輸的低比特率應用。MPEG-4標準的最大特點是基于視頻對象的編碼方法。
無線通信終端是多種多樣的,其所處的網絡結構、規(guī)模也是互異的。視頻碼流的精細可分級性(Fine Granularity Scalability)適應了傳輸環(huán)境的多樣性。
編碼協(xié)議并不提供完全齊備的解決方案。一般來說,協(xié)議內容主要包括碼流的語法結構、技術路線、解碼方法等,而并未嚴格規(guī)定其中一些關鍵算法,如運動估計算法、碼率控制算法等。運動估計算法在第3部分有較為詳細的介紹。碼率控制方案在第4部分有較為詳細的介紹。
2.2 其他視頻壓縮編碼技術
除上述基于協(xié)議的視頻標準之外,還有一些優(yōu)秀的算法由于商業(yè)的原因,暫時沒有被國際標準完全接納。典型的例子是DCT變換和小波變換之爭。雖然利用小波變換可以取得更好的圖像恢復質量,但是因為DCT變換使用較早,有很多商業(yè)產品的支持,因此小波變換很難在一夜之間取代DCT變換現有的地位。其他編碼方法如,分形編碼、基于模型的編碼方法、感興趣區(qū)優(yōu)先編碼方法等也都取得了一定的成果,具有更強的壓縮能力。但是算法實現過于復雜,達到完全實用尚有一段距離。
在基于小波的低比特率圖像壓縮算法的研究中,根據小波圖像系數的空間分布特性,以及小波多分辨率的視頻特點,人們引入矢量量化以充分利用小波圖像系數的相關性。根據傳統(tǒng)的運動補償難以與小波變換相結合這一情況,人們還提出了將空間二維幀內小波變換與時間軸一維小波變換相結合的三維小波變換方法。
人類的視覺是一種積極的感受行為,不僅與生理因素有關,還取決于心理因素。人們觀察與理解圖像時常常會不自覺地對某些區(qū)域產生興趣。整幅圖像的視覺質量往往取決于感興趣區(qū)(ROI:Region of Interest)的圖像質量。在保障ROI區(qū)部分圖像質量的前提下,其他部分可以進行更高的壓縮。這樣在大大壓縮數據量的同時,仍有滿意的圖像恢復質量。這就是感興趣區(qū)優(yōu)先編碼策略。
3 視頻編碼實時性研究
由于視頻數據的特殊性,視頻傳輸系統(tǒng)對實時性要求很高。這里重點介紹基于視頻編碼協(xié)議算法的實時性問題。小波編碼等算法雖然有許多優(yōu)點,但是算法復雜度太高,目前難于達到實時性要求。下面介紹基于協(xié)議編碼算法中的幾個重要環(huán)節(jié),它們對提高視頻編碼系統(tǒng)實時性有重要作用。
3.1 運動估計
預測編碼可以有效去除時間域上的冗余信息,運動估計則是預測編碼的重要環(huán)節(jié)。運動估計是要在參考幀中找到一個和當前幀圖像塊最相似的圖像塊,即最佳匹配塊。估計結果用運動向量來表示。研究運動估計算法就是要研究匹配塊搜索算法。
研究分析表明,原始運動估計算法在編碼器運行中消耗了編碼器70%左右的執(zhí)行時間。因此,為了提高編碼器執(zhí)行速度必須首先提高運動估計算法的效率。
窮盡搜索法是最原始的運動估計算法,它能得到全局最優(yōu)結果,但是由于運算量大,不宜在實際應用中使用。快速運動估計算法通過減小搜索空間,加快了搜索過程。雖然快速運動估計算法得到的運動向量沒有窮盡搜索法的結果那樣精確,但是由于它可以顯著減少運算時間,精度也能滿足很多應用的需要,因而它們的應用十分廣泛。典型的快速搜索算法有:共軛方向搜索法(CDS)、二維對數法(TDL)、三步搜索法(TSS)、交叉搜索法(CSA)等。
3.2 算法結構的并行化
并行化處理的體系結構十分有利于提高系統(tǒng)處理能力,加之視頻編碼算法有很強的并行處理潛力,因此,人們研究了編碼算法的并行運算能力,進一步保障了編碼算法的實時實現。
例如,如果有兩個并行處理器,就可以同時進行兩個圖像塊的運動估計或者DCT變換,這樣就把運動估計和DCT變換環(huán)節(jié)的運算時間縮短了一倍。
3.3 高速DSP芯片和專用DSP設計
微電子技術的發(fā)展,也使近年來DSP芯片有了很大的進步。每秒幾十或上百BOPS次的運算速度(1個BOPS為每秒10億次)DSP芯片已經出現,這為系統(tǒng)實時處理提供了硬件保證。
通用高速DSP芯片在視頻編碼算法的研究開發(fā)中扮演了重要角色。許多DSP生產廠商甚至提供實現某種編碼協(xié)議的專用芯片。
4 碼率控制研究
編碼策略是編碼器中的重要環(huán)節(jié)。碼率控制技術是視頻通信應用中的關鍵技術之一,它負責編碼器各個環(huán)節(jié)與傳輸信道和解碼器之間的協(xié)調,在編碼器中具有重要地位。因為碼率控制策略需要由具體應用場合決定,所以象H.263+、MPEG-4等視頻編碼協(xié)議,都沒有規(guī)定具體碼率控制方法。
由于視頻碼流結構具有分層的特點,因而碼率控制方案的研究一般分成了兩個層次,圖像層碼率控制、宏塊層碼率控制。圖像層碼率控制的主要任務是,根據系統(tǒng)對編碼器輸出碼率的期望、系統(tǒng)傳輸延遲的限制、傳送緩沖區(qū)的滿溢程度等,在一幀圖像編碼前,確定該幀圖像的輸出期望比特數。宏塊層碼率控制的主要任務是,根據圖像層碼率控制確定的該幀圖像的輸出期望比特數,給圖像各部分選擇合適的量化步長。宏塊層碼率控制的主要依據是率失真(Rate-Distortion)模型。
TMN8碼率控制方案,是迄今為止一套優(yōu)秀的碼率控制方案。它被H.263+的TMN8模型和MPEG-4(Version 1)的VM8模型所采納。該方案的精華部分在于宏塊層碼率控制部分,它采用了一種十分有效的率失真模型,是宏塊層碼率控制的誤差很小;在圖像層碼率控制方面,該方案的前提較為簡單,主要考慮了編碼時延、緩沖區(qū)滿溢程度等因素,并且要求編碼器的工作幀頻恒定。
在很多情況下,視頻編碼的幀頻不可能保持恒定,或者不“應該”恒定。考慮到視頻編碼器工作點的變化,以及現有率失真模型可能存在的誤差,人們將現代控制理論引入到圖像層碼率控制中,設計了更穩(wěn)定的碼率控制方案。
由于宏塊層碼率控制環(huán)節(jié)直接決定圖像各宏塊使用的量化步長,因此利用宏塊層碼率控制方法,可以輕易實現圖像感興趣區(qū)優(yōu)先編碼策略。使用感興趣區(qū)優(yōu)先編碼策略時,雖然對整幅圖像而言仍屬低碼率編碼范疇,但對于感興趣區(qū)域而言卻存在局部高碼率編碼?,F有低碼率控制算法,包括TMN8方案,都沒有考慮到這一現象。它們將整幅圖像所有部分都作為低碼率編碼對象,并以此建立碼率控制模型。因此這些碼率控制方案直接與感興趣區(qū)優(yōu)先編碼策略相結合時,會導致不應有的碼率控制誤差。為此,人們又提出了一套用于低碼率應用的碼率控制框架,它適應了感興趣區(qū)優(yōu)先編碼策略的需要。
5 魯棒性研究
無線信道干擾因素多,誤碼率高,因此無線視頻的魯棒傳輸研究對于無線視頻傳輸的實用化十分重要。
5.1 魯棒的壓縮編碼
視頻壓縮編碼的最后一個環(huán)節(jié)是熵編碼。熵編碼的特點決定了視頻碼流對誤比特高度敏感。于是,人們設計了多種技術用于在視頻編碼環(huán)節(jié)進行差錯復原,提高碼流魯棒性。MPEG-4中定義的主要差錯控制技術有:重同步(Resynchronization)、數據分割(Data Partition)、可逆變長編碼(RVLC)。H.263+中用于差錯復原的技術主要包括前向糾錯編碼(FEC)、條帶模式(Slice Mode)、獨立分段解碼(Independent Segment Decoding)和參考圖像選擇(Reference Picture Selection)等。H.263++則又增加了數據分割的條帶模式,并對參考圖像選擇模式進行了修改。
此外,在信源解碼端,人們又設計了數據恢復(Data Recovery)和差錯掩蓋(Error Concealment)等技術,以便盡量減少碼流中錯誤比特的負面影響。
5.2 魯棒的復用環(huán)節(jié)
多媒體通信中,復用是緊隨編碼環(huán)節(jié)的一個環(huán)節(jié)。以ITU定義的H.324標準為例,該標準由若干協(xié)議組成,包括音頻編碼協(xié)議G.723、視頻編碼協(xié)議H.26X、控制協(xié)議H.245和復用協(xié)議H.223。H.223是一個面向連接的復用器,負責把多媒體終端的多個數據源(音頻、視頻、數據等)復合為一個碼流。Villasenor等已經注意到復用器出現的差錯對視頻可能產生的影響,但沒有特別深入的研究成果。
5.3 魯棒的信道編碼環(huán)節(jié)
信道編碼也稱差錯控制編碼。與信源編碼的目的不同,信源編碼是盡量壓縮數據,用盡量少的比特描述原始視頻圖像;信道編碼是利用附加比特來保障原始比特能正確無誤地到達目的地。信道傳輸中的糾錯方法包括:前向誤碼糾錯(FEC)、自動重發(fā)(ARQ)和混合糾錯(HEC)。
Shannon從理論上給出了信道傳輸能力的上限。信道編碼方法的研究設計目標有二,一是盡量利用信道容量,二是抗干擾性能更強。
Turbo碼是近年來糾錯編碼領域的活躍分支,由法國學者C. Berrou等人在1993年提出的,其模擬性能接近于Shannon提出的信道容量,并且具有相當強的糾錯能力。但是Turbo碼的譯碼算法十分復雜,關于Turbo碼譯碼的實時實現是當前研究熱點之一。
5.4 信源信道組合編碼
不同的信道編碼策略對信元的保護能力也不同。根據信元的重要程度,合理地予以差錯控制編碼,將有效地提高傳輸系統(tǒng)的效率。這是不平等的保護策略(Unequal Error Protection)。信元的重要程度,可以有多種劃分方法,如按照信元對解碼所起作用,或者按照信元對人眼感知所起作用,等等。
還有許多學者研究了信道模型在信源信道組合編碼中的應用。三種典型無線信道模型是二進制對稱噪聲通道(Binary Symmetric Channels)、加性白高斯噪聲通道(Additive White Gaussian Channels)、G-E突發(fā)噪聲通道(Gilbert-Elliott Bursty Channels)。Chang Wen Chen等在研究這些信道模型的基礎上,研究了新的率失真模型,該模型不僅描述了量化引入的誤差,而且將信道噪聲考慮在內。在一定的信道傳輸速率要求下,利用這樣的率失真模型,不僅可以在子信源之間合理分配比特,而且可以更好地平衡信源編碼精度與信道編碼保護兩者對碼率的需要。
6 無線視頻傳輸系統(tǒng)的優(yōu)化與管理
??? 在前面幾部分的研究中,主要目標是解決無線視頻傳輸的基本問題:視頻數據的壓縮問題、編碼的實時實現、視頻碼流的魯棒傳輸。事實上,除了上述問題,還有許多與無線視頻傳輸密切相關的領域,它們對無線視頻傳輸的實現、推廣有著舉足輕重的影響。
6.1 通信協(xié)議的研究
中國公眾多媒體通信網是一個基于IP協(xié)議的通信網,它的通信協(xié)議是基于TCP/IP的。當然,IP協(xié)議和TCP協(xié)議僅是核心協(xié)議。為保證實時視頻通信業(yè)務能很好地運行,需要使用實時傳送協(xié)議(RTP)和實時傳送控制協(xié)議(RTCP)。為了給實時業(yè)務或其它特定業(yè)務的傳送留有足夠寬的通道,還必須使用資源預留協(xié)議(RSVP)。上述五個通信協(xié)議是IP網的主要通信協(xié)議。
IPv6作為Internet Protocol的新版本,將繼承和取代傳統(tǒng)IP(IPv4)。從IPv4到IPv6的改變將為下一代因特網奠定更堅實的基礎,如,IPv6力求使網絡管理變得更加簡單,考慮到不同用戶對服務質量的不同需要,其中若干技術十分有利于實時多媒體業(yè)務的實現。
6.2 接入控制(Admission Control)
類似有線網絡,無線網絡要決定是否允許新連接接入;此外無線網絡還要決定是否允許切換連接,并要在二者之間謀求最優(yōu)解決方案。
Naghshineh在1996年提出虛擬連接樹的新概念,設計了基于虛擬連接樹的高速移動ATM網絡體系,并研究了在該體系結構下的接入控制方案。簡單說,作者用一個虛擬樹來描述位于一定距離內小區(qū)的移動用戶。一旦移動用戶的呼叫被允許,他就可以在虛擬樹內的所有小區(qū)間自由切換,而無須重新請求。
在高速無線多媒體網絡中,Oliveira等則提出了基于帶寬預留的接入控制方案,即在建立呼叫小區(qū)附近的小區(qū)中,進行帶寬預留,以保障服務質量。當用戶進入一個新的小區(qū),被預留的帶寬將被利用。
6.3 資源預留(Resource Reservation)
對于視頻、話音等實時業(yè)務,為保證可接受的服務質量,應該保留一定的連接帶寬。此外,與新呼叫相比,切換呼叫應有更高的優(yōu)先權。
6.4 QoS業(yè)務模型(QoS Service Model)
無線多媒體QoS支持的基本目標是,在帶寬有限情況下,提供和用戶支付費用相當的服務質量。建立合適的業(yè)務模型是首先要解決的問題。所謂業(yè)務模型,就是要根據各種具體應用的特點,將其劃分成不同類型。例如,在支持QoS的ATM中定義了幾種業(yè)務模型:恒定比特率(CBR)業(yè)務、實時可變比特率(rt-VBR)業(yè)務、非實時可變比特率(nrt-VBR)業(yè)務、可用比特率(ABR)業(yè)務和不定比特率(UBR)業(yè)務。恒定比特率業(yè)務對帶寬的要求最為嚴格,其他類型對帶寬的要求依次放松。
現有的大量多媒體業(yè)務是在基于IP的網絡上開展的,而rc設計IP協(xié)議的初衷是傳輸數據的,是一種“盡力而為”的網絡,并不支持QoS。為此,其上的實時業(yè)務模型被分為兩類:有保障業(yè)務(Guaranteed Service)和無保障業(yè)務(Predictive Service)。
總之,在無線多媒體環(huán)境下,建立起合理的業(yè)務模型對保障QoS至關重要。在這一領域,人們始終在做出努力。如,較早時候,Oliveira等只用實時業(yè)務與非實時業(yè)務加以區(qū)分;1999年,Talukdar等提出三類業(yè)務模型;2000年,Lei Huang等不僅考慮了帶寬和延遲需要,還考慮了移動用戶的運動特性,提出多達七類業(yè)務模型。
6.5 圖像質量評價準則
恰當的圖像質量評價方法是無線多媒體通信的基本需要。由于無線環(huán)境帶寬有限,不可能為所有用戶都提供相同質量的服務,所以只能提供和用戶支付費用相當的服務質量。因此必須有一套能準確反映用戶接受服務的客觀質量標準。
除一些特殊場合,純粹客觀評價(如基于均方誤差的評價方法)已經被普遍認為不是真正“客觀”的圖像質量評價。越來越多的人認為,人眼視覺系統(tǒng)(HVS)的特性應該考慮在內。
Westen等人在1995年提出了基于多通道的HVS模型,用來評價圖像的感受質量。宋堅信等人最近又提出一種壓縮視頻感覺質量的計算方法,其核心思想是,利用視覺掩蔽特性,分析與壓縮視頻質量有關的視覺特性及視頻圖像內容特性,提出視覺掩蔽計算結構及用模糊學方法進行視覺閾值提升的計算方法。
總之,面向惡劣無線環(huán)境的數字視頻傳輸技術尚未成熟;面向大眾應用的無線視頻傳輸技術遠未成熟。因此,現在加強在該領域的研究力度,是增強我國科技實力的一次機遇,對于我國在未來通信領域占據一席之地將起重要作用。
?
參考文獻
1 沈蘭蓀.圖像編碼與異步傳輸.北京:人民郵電出版社.1998年5月
2 余松煜,張文軍,孫軍.現代圖像信息壓縮技術.北京:科學出版社.1998年11月
3 Zixiang Xiong,Kannan Ramchandran,Michael T Orchard and Ya-Qin Zhang. A Comparative Study of DCT-and Wavelet-Based Image Coding. IEEE Trans.On Circuits and Systems for Video Tech. 1999,9(5)
4 J D Villasenor, Y-Q Zhang,and J Wen. Robust Video Coding Algorithms and Systems (Invited Paper). In Proc of the IEEE,Special Issue on Video Transmission for Mobile Multimedia Applications,87(10),October 1999
5 Robert E Van Dyck,David J Miller. Transport of Wireless Video Using Separate,Concatenated,and Joint Source-Channel Coding. Proceedings of the IEEE,87(10),OCT 1999
6 田棟,沈蘭蓀,段占云.一種用于視頻通信的比特率控制方法.第三屆全球華人智能控制與智能自動化大會, 2000年6月至7月,中國合肥
7 Jianfei Cai, Chang Wen Chen. Joint Source-Channel Coding with Allpass Filtering Source Shaping for Image TransmissionOver Noisy Channels.Proceedings of SPIE:? Image and Video Communications and Processing,3974, Jan 2000. San Jose, California, USA
8 C Berrou, A Glavieux, and P Thitimasjshima.Shannon limit error-correcting coding and decoding: Turbo-codes (1). in Proc IEEE Int Conf On Communications (Geneva, Switzerland, May 1993, pp 1064-1070