【摘要】:本文介紹了有關(guān)數(shù)字電視信源編碼的一些主要技術(shù)和標(biāo)準(zhǔn),包括數(shù)字演播室標(biāo)準(zhǔn)ITU--601,壓縮編碼的基本原理和方法,圖像壓縮編碼標(biāo)準(zhǔn)H261,JPEG和MPEG,以及作為數(shù)字電視信源編碼標(biāo)準(zhǔn)輸出的MPEG--2碼流的形成。
準(zhǔn)數(shù)字電視和數(shù)字高清晰度電視在內(nèi)的數(shù)字電視體系的開發(fā)研究正加緊進(jìn)行。美國(guó)已完成稱為GA的數(shù)字高清晰度電視的標(biāo)準(zhǔn)制定及其進(jìn)入實(shí)用的時(shí)間表,歐洲則在開發(fā)獨(dú)立的數(shù)字電視方案,并制定了數(shù)字電視廣播DVB的標(biāo)準(zhǔn)。這一切都是以數(shù)字電視信源編碼的一系列技術(shù)與標(biāo)準(zhǔn)的成熟為基礎(chǔ)的。信源編碼作為數(shù)字電視系統(tǒng)的核心構(gòu)成部分,直接決定了數(shù)字電視的基本格式及其信號(hào)編碼效率,決定了數(shù)字電視最終如何在實(shí)際的系統(tǒng)中實(shí)現(xiàn)。
一.數(shù)字電視的信源編碼
一個(gè)完整的數(shù)字電視系統(tǒng)包括數(shù)字電視信號(hào)的產(chǎn)生、處理、傳輸、接收和重現(xiàn)等諸多環(huán)節(jié)。數(shù)字電視信號(hào)在進(jìn)入傳輸通道前的處理過(guò)程一般如圖1所示:
電視信號(hào)在獲取后經(jīng)過(guò)的第一個(gè)處理環(huán)節(jié)就是信源編碼。信源編碼是通過(guò)壓縮編碼來(lái)去掉信號(hào)源中的冗余成分,以達(dá)到壓縮碼率和帶寬,實(shí)現(xiàn)信號(hào)有效傳輸?shù)哪康?。信道編碼是通過(guò)按一定規(guī)則重新排列信號(hào)碼元或加入輔助碼的辦法來(lái)防止碼元在傳輸過(guò)程中出錯(cuò),并進(jìn)行檢錯(cuò)和糾錯(cuò),以保證信號(hào)的可靠傳輸。信道編碼后的基帶信號(hào)經(jīng)過(guò)調(diào)制,可送入各類通道中進(jìn)行傳輸。目前數(shù)字電視可能的傳輸通道包括衛(wèi)星,地面無(wú)線傳輸和有線傳輸?shù)取?br />
信源編碼的目的是通過(guò)在編碼過(guò)程中對(duì)原始信號(hào)冗余度的去除來(lái)壓縮碼率,因此壓縮編碼的技術(shù)與標(biāo)準(zhǔn)成為信源編碼的核心。九十年代以來(lái),各種壓縮編碼的國(guó)際標(biāo)準(zhǔn)相繼推出,其中MPEG-2是專為數(shù)字電視《包括標(biāo)準(zhǔn)數(shù)字電視和數(shù)字高清晰度電視》制定的壓縮編碼標(biāo)準(zhǔn)。MPEG-2壓縮編碼輸出的碼流作為數(shù)字電視信源編碼的標(biāo)準(zhǔn)輸出碼流已被廣泛認(rèn)可。目前數(shù)字電視系統(tǒng)中信源編碼以外的其他部分,包括信道編碼,調(diào)制器,解調(diào)器等,大都以MPEG-2碼流作為與之適配的標(biāo)準(zhǔn)數(shù)字信號(hào)碼流。
信源編碼的第一步首先要對(duì)模擬電視信號(hào)進(jìn)行取樣和模數(shù)變換,相應(yīng)的需要一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。數(shù)字演播室標(biāo)準(zhǔn)ITU-R601正是為此制定的國(guó)際標(biāo)準(zhǔn)。
二.數(shù)字演播室標(biāo)準(zhǔn)ITU-R601
早在七十年代末,英國(guó)廣播公司和索尼公司就分別展示了其各自開發(fā)的彩色數(shù)字錄像機(jī),成為最早的數(shù)字電視編錄產(chǎn)品,由此促成了電視信號(hào)模數(shù)轉(zhuǎn)換規(guī)范的產(chǎn)生。1980年,國(guó)際無(wú)線電咨詢委員會(huì)CCIR提出了電視信號(hào)模數(shù)轉(zhuǎn)換標(biāo)準(zhǔn)的建議,即稱為數(shù)字演播室標(biāo)準(zhǔn)的CCIR601。后來(lái)CCIR成為國(guó)際電信聯(lián)盟的無(wú)線電委員會(huì),稱為ITU-R,相應(yīng)的CCIR-601也改稱ITU-R601,成為模擬電視向數(shù)字電視轉(zhuǎn)變過(guò)程中的第一個(gè)標(biāo)準(zhǔn)規(guī)范。
ITU-R601主要是一種取樣標(biāo)準(zhǔn)。模擬電視信號(hào)據(jù)此取樣后進(jìn)行8比特量化和線性PCM編碼,即可得到符合數(shù)字演播室標(biāo)準(zhǔn)的基帶數(shù)字信號(hào)。但是,由此得到的數(shù)字電視信號(hào)具有非常高的碼率和帶寬,難以進(jìn)入實(shí)用。雖然ITU-R601建議早在1980年已經(jīng)制定,但直到九十年代一系列有效的圖像數(shù)碼壓縮技術(shù)及相應(yīng)的國(guó)際標(biāo)準(zhǔn)出現(xiàn)以后,數(shù)字電視才得到了迅速的發(fā)展。
圖像數(shù)據(jù)的壓縮主要基于對(duì)各種圖像數(shù)據(jù)冗余度及視覺(jué)冗余度的壓縮,包括如下一些方法:
1.統(tǒng)計(jì)冗余度的壓縮:對(duì)于一串由許多數(shù)值構(gòu)成的數(shù)據(jù)來(lái)說(shuō),如果其中某些值經(jīng)常出現(xiàn),而另外一些值很少出現(xiàn),則這種由取值上的統(tǒng)計(jì)不均勻性就構(gòu)成了統(tǒng)計(jì)冗余度,可以對(duì)之進(jìn)行壓縮。具體方法是對(duì)那些經(jīng)常出現(xiàn)的值用短的碼組來(lái)表示,對(duì)不經(jīng)常出現(xiàn)的值用長(zhǎng)的碼組來(lái)表示,因而最終用于表示這一串?dāng)?shù)據(jù)的總的碼位,相對(duì)于用定長(zhǎng)碼組來(lái)表示的碼位而言得到了降低,這就是熵編碼的思想。目前用于圖像壓縮的具體的熵編碼方法主要是霍夫曼編碼,即一個(gè)數(shù)值的編碼長(zhǎng)度與此數(shù)值出現(xiàn)的概率盡可能地成反比?;舴蚵幋a雖然壓縮比不高,約為1.6:1,但好處是無(wú)損壓縮,目前在圖像壓縮編碼中被廣泛采用。
視頻圖像在每一點(diǎn)的取值上具有任意性。對(duì)于運(yùn)動(dòng)圖像而言,每一點(diǎn)在一段時(shí)間內(nèi)能取可能的任意值,在取值上具有統(tǒng)計(jì)均勻性,難以直接運(yùn)用熵編碼的方法,但可以通過(guò)適當(dāng)?shù)淖儞Q編碼的方法,如DCT變換,使原圖像變成由一串統(tǒng)計(jì)不均勻的數(shù)據(jù)來(lái)表示,從而利用霍夫曼編碼來(lái)進(jìn)行壓縮。
2.空間冗余度的壓縮:一幅視頻圖像相鄰各點(diǎn)的取值往往相近或相同,具有空間相關(guān)性,這就是空間冗余度。圖像的空間相關(guān)性表示相鄰象素點(diǎn)取值變化緩慢。從頻域的觀點(diǎn)看,意味著圖像信號(hào)的能量主要集中在低頻附近,高頻信號(hào)的能量隨頻率的增加而迅速衰減。通過(guò)頻域變換,可以將原圖像信號(hào)用直流分量及少數(shù)低頻交流分量的系數(shù)來(lái)表示,這就是變換編碼中的正交余弦變換DCT的方法。DCT是JPEG和MPEG壓縮編碼的基礎(chǔ),可對(duì)圖像的空間冗余度進(jìn)行有效的壓縮。
視頻圖像中經(jīng)常出現(xiàn)一連串連續(xù)的象素點(diǎn)具有相同值的情況,典型的如彩條,彩場(chǎng)信號(hào)等。只傳送起始象素點(diǎn)的值及隨后取相同值的象素點(diǎn)的個(gè)數(shù),也能有效地壓縮碼率,這就是行游程編碼。目前在圖像壓縮編碼中,行游程編碼并不直接對(duì)圖像數(shù)據(jù)進(jìn)行編碼,主要用于對(duì)量化后的DCT系數(shù)進(jìn)行編碼。
3.時(shí)間冗余度的壓縮:時(shí)間冗余度表現(xiàn)在電視畫面中相繼各幀對(duì)應(yīng)象素點(diǎn)的值往往相近或相同,具有時(shí)間相關(guān)性。在知道了一個(gè)象素點(diǎn)的值后,利用此象素點(diǎn)的值及其與后一象素點(diǎn)的值的差值就可求出后一象素點(diǎn)的值。因此,不傳送象素點(diǎn)本身的值而傳送其與前一幀對(duì)應(yīng)象素點(diǎn)的差值,也能有效地壓縮碼率,這就是差分編碼DPCM。在實(shí)際的壓縮編碼中,DPCM主要用于各圖像子塊在DCT變換后的直流系數(shù)的傳送。相對(duì)于交流系數(shù)而言,DCT直流系數(shù)的值很大,而相繼各幀對(duì)應(yīng)子塊的DCT直流系數(shù)的值一般比較接近,在圖像未發(fā)生跳變的情況下,其差值同直流系數(shù)本身的值相比是很小的。
由差分編碼進(jìn)一步發(fā)展起來(lái)的預(yù)測(cè)編碼,是根據(jù)一定的規(guī)則先預(yù)測(cè)出下一個(gè)象素點(diǎn)或圖像子塊的值,然后將此預(yù)測(cè)值與實(shí)際值的差值傳送給接收端。目前圖像壓縮中的預(yù)測(cè)編碼主要用于幀間壓縮編碼,方法是先根據(jù)一個(gè)子塊的運(yùn)動(dòng)矢量求出下一幀對(duì)應(yīng)子塊的預(yù)測(cè)值及其與實(shí)際值的差值,接收端根據(jù)運(yùn)動(dòng)矢量及差值恢復(fù)出原圖像。由于運(yùn)動(dòng)矢量及差值的數(shù)據(jù)量低于原圖像的數(shù)據(jù)量,因而也能達(dá)到圖像數(shù)據(jù)壓縮的目的。
4.視覺(jué)冗余度的壓縮:視覺(jué)冗余度是相對(duì)于人眼的視覺(jué)特性而言的。人眼對(duì)于圖像的視覺(jué)特性包括:對(duì)亮度信號(hào)比對(duì)色度信號(hào)敏感,對(duì)低頻信號(hào)比對(duì)高頻信號(hào)敏感,對(duì)靜止圖像比對(duì)運(yùn)動(dòng)圖像敏感,以及對(duì)圖像水平線條和垂直線條比對(duì)斜線敏感等。因此,包含在色度信號(hào),圖像高頻信號(hào)和運(yùn)動(dòng)圖像中的一些數(shù)據(jù)并不能對(duì)增加圖像相對(duì)于人眼的清晰度作出貢獻(xiàn),而被認(rèn)為是多余的,這就是視覺(jué)冗余度。
壓縮視覺(jué)冗余度的核心思想是去掉那些相對(duì)人眼而言是看不到的或可有可無(wú)的圖像數(shù)據(jù)。對(duì)視覺(jué)冗余度的壓縮通常已反映在各種具體的壓縮編碼過(guò)程中。如對(duì)于DCT系數(shù)的直流與低頻部分采取細(xì)量化,而對(duì)高頻部分采取粗量化,使得DCT變換能借此壓縮碼率,并能有效地進(jìn)行行游程編碼。在幀間預(yù)測(cè)編碼中,大碼率壓縮的預(yù)測(cè)幀及雙向預(yù)測(cè)幀的采用,也是利用了人眼對(duì)運(yùn)動(dòng)圖像細(xì)節(jié)不敏感的特性。
圖像壓縮編碼的具體方法雖然還有多種,但大都是建立在上述基本思想之上的。DCT變換,行游程編碼,DPCM,幀間預(yù)測(cè)編碼及霍夫曼編碼等編碼方法,因技術(shù)上的成熟,已被有關(guān)國(guó)際組織定為壓縮編碼的主要方法。
三.圖像壓縮的主要技術(shù)與標(biāo)準(zhǔn)
目前有關(guān)圖像壓縮方面的主要標(biāo)準(zhǔn)包括CCITT的H.261,JPEG和MPEG。是分別針對(duì)電視電話圖像,靜止圖像和活動(dòng)圖像的壓縮編碼標(biāo)準(zhǔn)。這幾種壓縮標(biāo)準(zhǔn)雖然各自針對(duì)性不同,但壓縮編碼方法大體相似。
1 H.261
圖像壓縮編碼標(biāo)準(zhǔn)的提出最早源于通訊中對(duì)可視電話的研究。經(jīng)過(guò)多年努力,至1980年,國(guó)際電報(bào)電話咨詢委員會(huì)CCITT所屬的視頻編碼專家組的H.261建議被通過(guò),成為可視電話和電話會(huì)議的國(guó)際標(biāo)準(zhǔn)。H.261又稱Px64,傳輸碼率為Px64kbps,其中P=1-30可變,根據(jù)圖像傳輸清晰度的不同,碼率變化范圍在64kbps至1.92Mbps之間,編碼方法包括DCT變換,可控步長(zhǎng)線性量化,變長(zhǎng)編碼及預(yù)測(cè)編碼等。其簡(jiǎn)化的編碼原理框圖如圖2所示。
圖中,DCT變換的輸入輸出選擇開關(guān)由幀內(nèi)/幀間模式選擇電路控制。在幀內(nèi)模式時(shí),開關(guān)打到上面,輸入信號(hào)經(jīng)DCT變換,線性量化和變長(zhǎng)編碼后輸出,圖像只進(jìn)行幀內(nèi)壓縮。在幀間模式時(shí),開關(guān)打到下面,前一幀圖像信號(hào)經(jīng)過(guò)預(yù)測(cè)環(huán)中的運(yùn)動(dòng)補(bǔ)償后產(chǎn)生一個(gè)后幀的預(yù)測(cè)信號(hào)。后幀的實(shí)際輸入信號(hào)與其預(yù)測(cè)值相減后,在進(jìn)行一個(gè)幀內(nèi)壓縮編碼的過(guò)程后輸出。
圖中變長(zhǎng)編碼器產(chǎn)生的控制信號(hào)送量化器以控制其量化步長(zhǎng)。當(dāng)變長(zhǎng)編碼器的輸入中連續(xù)出現(xiàn)許多大數(shù)值的數(shù)據(jù),導(dǎo)致集中出現(xiàn)長(zhǎng)的碼組,使緩存器接近溢出時(shí),控制信號(hào)使量化器的量化步長(zhǎng)加大,以降低大數(shù)值數(shù)據(jù)的出現(xiàn);反之,也可控制量化器以減小其量化步長(zhǎng)。在預(yù)測(cè)環(huán)路中由于存在用于恢復(fù)前幀信號(hào)的反量化器,量化步長(zhǎng)控制信號(hào)也要送到預(yù)測(cè)環(huán)中的反量化器中。
H.261所針對(duì)的可視電話信號(hào)最初考慮是在一般電話網(wǎng)中傳輸?shù)模瑤捄痛a率是其考慮的核心問(wèn)題。其每幀取樣點(diǎn)數(shù)比ITU-R601所規(guī)定的低許多,且采取抽幀傳輸?shù)姆椒ǎ瑹o(wú)法滿足數(shù)字電視壓縮編碼的要求,但H.261是此前壓縮編碼數(shù)十年研究的結(jié)果,成為以后JPEG和MPEG編碼方法的重要基礎(chǔ)。
2 JPEG
1986年,國(guó)際標(biāo)準(zhǔn)化組織ISO和國(guó)際電報(bào)電話咨詢委員會(huì)CCITT共同成立了聯(lián)合圖像專家組《Joint Photographic Experts Group》,對(duì)靜止圖像壓縮編碼的標(biāo)準(zhǔn)進(jìn)行了研究,JPEG小組于1988年提出建議書,1992年成為靜止圖像壓縮編碼的國(guó)際標(biāo)準(zhǔn)。JPEG是一個(gè)達(dá)到數(shù)字演播室標(biāo)準(zhǔn)的圖像壓縮編碼標(biāo)準(zhǔn),其亮度信號(hào)與色度信號(hào)均按照ITU-R601的規(guī)定取樣后劃分為8x8子塊進(jìn)行編碼處理。
JPEG是一種不含幀間壓縮的幀內(nèi)壓縮編碼方法,其主要編碼過(guò)程與H.261的幀內(nèi)編碼過(guò)程大致相同。輸入信號(hào)經(jīng)DCT變換后,按固定的亮度與色度量化矩陣進(jìn)行非線性量化。對(duì)量化后的DCT直流系數(shù)進(jìn)行差分編碼,交流系數(shù)進(jìn)行行游程編碼,再按霍夫曼碼表進(jìn)行變長(zhǎng)編碼后,送緩存器輸出。
JPEG不含幀間壓縮,壓縮比較幀內(nèi)/幀間壓縮低。但因?yàn)椴缓瑤g壓縮,使得各幀在壓縮編碼后是各自獨(dú)立的,這一點(diǎn)對(duì)于編輯來(lái)說(shuō)是有利的,可以做到精確到逐幀的編輯。所以對(duì)于活動(dòng)畫面只進(jìn)行幀內(nèi)壓縮的Motion-JPEG,目前仍然在一些數(shù)字電視編錄設(shè)備,如非線性編輯系統(tǒng)中得到應(yīng)用。
3 MPEG
1988年,國(guó)際標(biāo)準(zhǔn)化組織ISO和國(guó)際電工委員會(huì)IEC共同組建了運(yùn)動(dòng)圖像專家組《Moving Picture Experts Group》,對(duì)運(yùn)動(dòng)圖像的壓縮編碼標(biāo)準(zhǔn)進(jìn)行了研究。1992年和1994年分別通過(guò)了MPEG-1和MPEG-2壓縮編碼標(biāo)準(zhǔn)。
MPEG-1主要是針對(duì)運(yùn)動(dòng)圖像和聲音在數(shù)字存儲(chǔ)時(shí)的壓縮編碼,典型應(yīng)用如VCD等家用數(shù)字音像產(chǎn)品,其編碼最高碼率為1.5Mbps。MPEG-2則針對(duì)數(shù)字電視的視音頻壓縮編碼,對(duì)數(shù)字電視各種等級(jí)的壓縮編碼方案及圖像編碼中劃分的層次作了詳細(xì)的規(guī)定,其編碼碼率可從3Mbps到100Mbps。
MPEG的基本編碼過(guò)程與H.261相似,即通過(guò)DCT進(jìn)行幀間壓縮。除了在編碼語(yǔ)法上加進(jìn)了一些特別規(guī)定外,與H.261的一個(gè)重要不同是MPEG在預(yù)測(cè)編碼中加進(jìn)了一個(gè)雙向預(yù)測(cè)幀B幀,如圖3所示。
圖中,I幀只進(jìn)行幀內(nèi)壓縮,是作為預(yù)測(cè)基準(zhǔn)的獨(dú)立幀,具有較小的壓縮比。由I幀前向預(yù)測(cè)產(chǎn)生的P幀具有中等壓縮比,并與I幀一起成為B幀的預(yù)測(cè)基準(zhǔn)。由此產(chǎn)生的B幀則具有最高的壓縮比。I幀出現(xiàn)的頻率及I,B,P幀之間如何組合,MPEG未作具體規(guī)定,可由編碼器自行選擇。如索尼的數(shù)字Betacom錄像機(jī),為便于精確地編輯,在壓縮編碼過(guò)程中抽掉了B幀,只有I幀與P幀的組合。
在上述各種圖像壓縮編碼標(biāo)準(zhǔn)中,MPEG-2是專門針對(duì)數(shù)字電視的。MPEG-2的壓縮編碼及其標(biāo)準(zhǔn)碼流的形成構(gòu)成了數(shù)字電視信源編碼的核心。
四.MPEG-2標(biāo)準(zhǔn)碼流的形成
符合MPEG-2格式的碼流成為數(shù)字電視信源編碼的標(biāo)準(zhǔn)輸出碼流。數(shù)字電視信道編碼,DVB及MPEG-2解碼器等均認(rèn)同和適應(yīng)此標(biāo)準(zhǔn)。為了形成統(tǒng)一標(biāo)準(zhǔn)的MPEG-2輸出碼流,MPEG-2對(duì)其壓縮編碼的適用范圍和編碼語(yǔ)法,對(duì)碼流的打包與復(fù)用等作了詳細(xì)具體的規(guī)定。
1.MPEG-2的類和級(jí)
在對(duì)數(shù)字電視信號(hào)進(jìn)行壓縮編碼時(shí),MPEG-2可采用多種編碼工具并實(shí)現(xiàn)不同層次的清晰度,分別稱為MPEG-2的類《Profile》和級(jí)《Level》,具體分為五類四級(jí)。
圖像清晰度由LOW到HIGH逐級(jí)提高,使用的編碼工具從SIMPLE到HIGH依次遞增。20個(gè)可能的組合中有11個(gè)已獲通過(guò),稱為MPEG-2 適用點(diǎn),其中主類主級(jí)MP@ML適用于標(biāo)準(zhǔn)數(shù)字電視,主類高級(jí)MP@HL則用于高清晰度電視。
2.MPEG-2的層
MPEG-2根據(jù)圖像塊和圖像幀的不同組合劃分為六層。MPEG-2的層直接決定了編碼碼流的形成和結(jié)構(gòu)。MPEG-2的層從下至上依次為:
象塊層:由8x8個(gè)象素點(diǎn)構(gòu)成的DCT變換基本單元;
宏塊層:在4:2:2取樣中,一個(gè)宏塊由4個(gè)亮度象塊,2個(gè)Cr象塊和2個(gè)Cb 象塊構(gòu)成。另外還有4:2:0取樣和4:4:4取樣的兩種宏塊;
像條層:一連串宏塊可構(gòu)成一個(gè)像條;
圖像層:一系列像條可以構(gòu)成一幅圖像,圖像分為I,B,P三類;
圖像組層:由相互間相關(guān)的一組I,B,P幀組成,I幀為第一幀;
視頻序列層:一系列圖像組構(gòu)成了一個(gè)視頻序列;
從象塊開始從下至上依次編碼,并在除象塊和宏塊外的每一層的開始處加上起始碼和頭標(biāo)志,就形成了MPEG-2基本碼流(Elementary Stream〕。
3.MPEG-2基本碼流的打包與復(fù)用
分別從MPEG-2編碼器中輸出的視頻,音頻和數(shù)據(jù)基本碼流無(wú)法直接送信道傳輸,需要經(jīng)過(guò)打包和復(fù)用,形成適合傳輸?shù)膯我坏腗PEG-2傳輸碼流。
視頻,音頻及數(shù)據(jù)基本碼流ES先被打成一系列不等長(zhǎng)的PES小包,稱為打包的基本碼流。每個(gè)PES小包帶有一個(gè)包頭,內(nèi)含小包的種類,長(zhǎng)度及其他相關(guān)信息。視頻,音頻及數(shù)據(jù)的PES小包,按照共同的時(shí)間基準(zhǔn),經(jīng)節(jié)目復(fù)用后形成單一的節(jié)目碼流。多路節(jié)目碼流經(jīng)傳輸復(fù)用后形成由定長(zhǎng)傳輸小包組成的單一的傳輸碼流,成為MPEG-2信源編碼的最終輸出信號(hào)
在數(shù)字化電視信號(hào)的信源編碼中,根據(jù)對(duì)圖像清晰度的不同要求及其他方面的考慮,可分別采用JPEG、MPEG-1和MPEG-2作為編碼方法。其中,MPEG-2由于專門針對(duì)數(shù)字電視的信源編碼制定了一系列的語(yǔ)法和規(guī)范并被廣泛認(rèn)可,已成為數(shù)字電視廣播信源編碼的核心技術(shù)與標(biāo)準(zhǔn)。