雖然有很多種描述方法可以描述一段多媒體內(nèi)容，但是描述格式的定義通常是規(guī)范的，所以具備了可用性、統(tǒng)一性和互操作性。鑒于是標(biāo)準(zhǔn)描述化，所以MPEG-7標(biāo)準(zhǔn)只是指定描述的格式（語(yǔ)法和語(yǔ)義）。
雖然提出多媒體內(nèi)容描述接口的初衷是為了解決人們?cè)诿鎸?duì)多到泛濫的網(wǎng)絡(luò)多媒體信息面前的無(wú)所適從，但是MPEG-7的應(yīng)用絕不僅限于搜尋，它也有很多其他類(lèi)型的應(yīng)用，例如實(shí)時(shí)監(jiān)控、廣播過(guò)濾，半自動(dòng)編輯，自動(dòng)播放列表的產(chǎn)生。
在本篇論文中，我們將討論MPEG-7的基本理論，并且側(cè)重于音頻方面。
一. MPEG-7基本
1.定義
MPEG-7的基本描述實(shí)體叫做描述符（descriptor），它通過(guò)定義語(yǔ)法和語(yǔ)義來(lái)表示特定內(nèi)容的性質(zhì)、特征和屬性。在音頻領(lǐng)域中，描述符可以描述音頻信號(hào)的頻譜包絡(luò)。
描述方案（description schemes）的作用是聯(lián)合和構(gòu)造描述組件，以滿足應(yīng)用的要求。描述方案包含了一系列的描述符和同一個(gè)體系中的其它的描述方案。
描述符和描述方案在語(yǔ)義上都是由所謂的描述定義語(yǔ)言（description definition Language，DDL）定義的，它可以進(jìn)行擴(kuò)展。MPEG-7 DDL是以XML語(yǔ)言為基礎(chǔ)，因?yàn)樗梢詫?shí)現(xiàn)內(nèi)容描述的文本表示，并且允許描述工具的擴(kuò)展。
2.描述定義語(yǔ)言- DDL
描述定義語(yǔ)言是基于XML（文本格式）的描述性語(yǔ)言。之所以采用XML語(yǔ)言一部分是因?yàn)樗荢GML語(yǔ)言的延伸，而且它的普及型確保了描述工具的擴(kuò)展性。此外，MPEG-7采用XML還因?yàn)樗谂c多媒體內(nèi)容描述相關(guān)的數(shù)據(jù)結(jié)構(gòu)的創(chuàng)建中發(fā)揮著巨大的作用。
但是MPEG-7 DDL不是對(duì)XML語(yǔ)言規(guī)范的完全復(fù)制，它有少許的改變，比如它對(duì)一些特定的數(shù)據(jù)類(lèi)型提供擴(kuò)展支持，并且它剔除了多余的特征等。特別是，DDL引入了定義數(shù)組和矩陣的新型結(jié)構(gòu)，擴(kuò)展了XML語(yǔ)言架構(gòu)的功能。
3.多媒體描述方案(MDS)
創(chuàng)建多媒體描述方案不只是為了滿足不能單獨(dú)適用于視頻或者音頻工具的需要，而且能夠滿足多媒體內(nèi)容的需要。所以，MPEG-7標(biāo)準(zhǔn)中的MDS提供了與MPEG-7音頻標(biāo)準(zhǔn)相關(guān)的一系列的兩個(gè)層次的工具。首先，有一系列低層次的工具，它包含了擴(kuò)展的數(shù)據(jù)類(lèi)型，例如音視頻數(shù)據(jù)的段的基本定義類(lèi)型，還有一系列高層次的工具，它超出了音視頻描述的范圍，允許音視頻相關(guān)，例如高層次內(nèi)容的語(yǔ)義描述。為了避免MPEG-7標(biāo)準(zhǔn)會(huì)存在冗余功能，它的音頻部分是由MDS提供音頻文件所需要的工具集。
二. MPEG-7音頻
MPEG-7音頻標(biāo)準(zhǔn)的結(jié)構(gòu)可分為兩個(gè)類(lèi)別，就是通用音頻描述框架和特定應(yīng)用工具。音頻描述框架即基本兼容層（工具箱），也就是通用描述和特定應(yīng)用構(gòu)建的基礎(chǔ)，而且它還包含了可擴(kuò)展系列方案、低層描述符（LLDs）、靜音段（silence segment）。另一方面，聲音識(shí)別工具、樂(lè)器音色描述工具、說(shuō)話內(nèi)容描述工具、旋律描述工具、魯棒性音頻匹配工具分別專(zhuān)注了它們各自的應(yīng)用領(lǐng)域，所以它們的描述能力都比較強(qiáng)。
1.描述結(jié)構(gòu)
MPEG-7音頻依賴(lài)于兩個(gè)基本結(jié)構(gòu)，段和可擴(kuò)展序列。
段數(shù)據(jù)類(lèi)型實(shí)際上由MPEG標(biāo)準(zhǔn)的MDS繼承而來(lái)的，而且在一開(kāi)始就被MPEG-7音頻描述所采用。音頻段和段分解共同作用可以連續(xù)的分解音頻流。將音頻分為“段”，它的依據(jù)是每段至少得有一個(gè)特征，無(wú)論是概念上的還是數(shù)學(xué)上的。你可以把音頻流分割成任何你想要的分辨率，以及任何層次的深度。只要子段的時(shí)域范圍完全在母段上，母段本身的特性就會(huì)限制子段的特性，而且子段可能會(huì)存在缺口、重疊、兩者都有或者兩者都無(wú)。特定的一段時(shí)間的音頻流可以被任意數(shù)量的段所描述。
可擴(kuò)展序列的核心是一系列對(duì)應(yīng)于描述符的采樣值。最普遍的設(shè)想是它作為一個(gè)時(shí)間序列的同時(shí)，同樣適應(yīng)于頻域的采樣。可擴(kuò)展序列還能夠存儲(chǔ)各種各樣的匯總值，如描述符值的最大值、最小值和方差。
2.低層音頻描述符
一般來(lái)說(shuō)，涉及到大部分的音頻信號(hào)的低層描述符，能夠分成以下幾個(gè)組別，同時(shí)下面給出了描述符的描述范圍
基本：瞬時(shí)波形和功率值。
基本譜：對(duì)數(shù)頻率功率譜和頻譜特性，包括譜心，頻譜延展性，頻譜平坦度。
信號(hào)參數(shù)：準(zhǔn)周期信號(hào)的基頻和信號(hào)諧波。
音色時(shí)域：對(duì)數(shù)表示的開(kāi)始時(shí)間（log attack time），時(shí)域分割的單聲道音頻的時(shí)域中心。
音色譜：在線性空間內(nèi)的頻譜特性。例如單聲道音頻的譜心，還包括信號(hào)的諧波部分的頻譜特性，也就是諧波譜心，頻譜偏差，頻譜延展性，譜變化。
頻譜的基本表示：主要用于聲音識(shí)別的特性，一般用于在低維空間的識(shí)別。
2003年MPEG又發(fā)布了MPEG-7 Audio Version 2，增加了一些低層描述符,包括音頻信號(hào)質(zhì)量描述符和音樂(lè)節(jié)拍（BPM）描述符。音頻信號(hào)質(zhì)量描述符描述的范圍包括背景噪聲、音頻通道互相關(guān)、相對(duì)延遲、平衡、DC偏移、帶寬和傳輸技術(shù)，以及錄音錯(cuò)誤。并且對(duì)原先的MPEG-7 Audio進(jìn)行了擴(kuò)展，增加了對(duì)立體聲/環(huán)繞聲的描述和說(shuō)話內(nèi)容的描述。
3.面向應(yīng)用的音頻工具
(1)聲音識(shí)別工具
聲音識(shí)別描述符和描述方案是索引和分類(lèi)全部聲音效果的一組工具。它們支持自動(dòng)化聲音效果識(shí)別和索引，而且包含了詳細(xì)說(shuō)明聲音分類(lèi)的 工具和聲音識(shí)別的工具。此識(shí)別器可用來(lái)自動(dòng)索引和音軌分段。
(2)說(shuō)話內(nèi)容描述工具
基于目前的語(yǔ)音系統(tǒng)并不完美，從而產(chǎn)生了說(shuō)話內(nèi)容描述工具。它不是一個(gè)簡(jiǎn)單的說(shuō)話文本（雖然它也能適應(yīng)這種情況），這個(gè)描述方案包含了合并詞和音位格，它能為音頻流中的每一個(gè)說(shuō)話者服務(wù)。通過(guò)結(jié)合音位格的方式，很大程度上解決了在出現(xiàn)詞匯表之外的詞匯所帶來(lái)的問(wèn)題。即使原始解碼出錯(cuò)，或者單詞超出了識(shí)別引擎的詞匯表的范圍，檢索信息依然能夠能夠進(jìn)行。它能夠用于兩大類(lèi)別的檢索方案：音頻流的索引和檢索以及語(yǔ)音多媒體對(duì)象的索引。
(3)樂(lè)器音色描述工具
音色描述針對(duì)的是對(duì)樂(lè)器聲的感知特性的描述。音色作為感知特性被定義在庫(kù)中。當(dāng)兩個(gè)聲音擁有相同的基音音高和響度時(shí)，但是聽(tīng)起來(lái)卻不一樣，這是因?yàn)檫@兩個(gè)聲音音色的不同。音色描述工具利用簡(jiǎn)化的一組描述符描述這些感知特性。描述符涉及到一些概念，例如聲音的起始時(shí)間、明亮度或者豐滿度。
總共存在有四類(lèi)樂(lè)器聲：諧和、持續(xù)、連貫的聲音；沖擊性非持續(xù)的聲音；非諧和、持續(xù)、連貫的聲音；非連貫、持續(xù)的聲音。在這4大類(lèi)中，MPEG-7標(biāo)準(zhǔn)已經(jīng)詳細(xì)說(shuō)明了前兩類(lèi)，而且一直在不斷更新中。另兩類(lèi)被視作低優(yōu)先級(jí)，因?yàn)樗鼈兿鄬?duì)比較少見(jiàn)，但是標(biāo)準(zhǔn)仍對(duì)它們進(jìn)行了說(shuō)明。音色描述工具廣泛使用了前面討論過(guò)的音色時(shí)域和頻域的低層描述符。
(4)旋律描述工具
有兩種方法來(lái)描述旋律特性，采用哪一種取決于你所需要的簡(jiǎn)潔度和精確度。旋律輪廓（melody contour）描述方案是一種簡(jiǎn)潔描述旋律信息的方法，它允許有效、穩(wěn)健地旋律相似性匹配，例如，通過(guò)嗡聲查詢(xún)。旋律輪廓（melody contour）描述方案使用5步輪廓法（表示相鄰音符的音程長(zhǎng)度的不同），并且音程被量化。旋律輪廓描述方案還可以通過(guò)存儲(chǔ)每個(gè)音符最鄰近的拍數(shù)來(lái)表示節(jié)奏信息，而且這還能顯著的提升從資料庫(kù)提取信息匹配的準(zhǔn)確度。
對(duì)于應(yīng)用來(lái)說(shuō)，需要更加優(yōu)良的描述準(zhǔn)確度和給定旋律的重建能力，所以旋律描述方案支持描述符集合的擴(kuò)展和高精度音程編碼。音符跟音符之間有著精確的音高區(qū)間（精度到分或者更高），而不是只量化到5個(gè)級(jí)別。通過(guò)對(duì)類(lèi)似音高區(qū)間的音符起始時(shí)間的差異的對(duì)數(shù)比進(jìn)行編碼，才有了精確的節(jié)奏信息。這些核心描述符是一系列的可選支持描述符，例如歌詞、音調(diào)、韻律和起始音符，以滿足應(yīng)用的需要。
(5)魯棒匹配工具
魯棒音頻匹配工具能夠穩(wěn)健和有效的完成音頻信號(hào)的身份匹配，也就是說(shuō)，即使在信號(hào)有了線性或者非線性失真之后，也能夠去區(qū)分兩個(gè)音頻信號(hào)在本質(zhì)上是否相同。未知音頻信號(hào)和相關(guān)的資料數(shù)據(jù)庫(kù)條目能夠進(jìn)行穩(wěn)健和有效的匹配，這使得它具備了音頻材料的自動(dòng)識(shí)別功能，以及能夠仿真出跟人類(lèi)能力一樣基于記憶的聲音的識(shí)別能力。更重要的是，在MPEG-7標(biāo)準(zhǔn)中，建立了為現(xiàn)有的傳統(tǒng)音頻格式的給定音頻內(nèi)容塊來(lái)查找內(nèi)容描述數(shù)據(jù)（例如，歌名或者歌手名字）的方法。例如CD不提供任何鏈接到相應(yīng)的描述數(shù)據(jù)庫(kù)條目。 雖然魯棒音頻匹配在原則上可以通過(guò)若干特征而實(shí)現(xiàn)，但是使用MPEG7中的頻譜平坦度描述符就可以完美的實(shí)現(xiàn)了。
三. MPEG-7音頻的應(yīng)用
1.說(shuō)話內(nèi)容搜尋
語(yǔ)音是人類(lèi)相互交流溝通的最重要的手段，與我們的生活息息相關(guān)。所以能夠?qū)崿F(xiàn)對(duì)于說(shuō)話內(nèi)容的搜尋功能顯得非常的重要?，F(xiàn)今的自動(dòng)語(yǔ)音識(shí)別器都是基于單詞/音位格的。
前面已經(jīng)簡(jiǎn)單講過(guò)MPEG-7對(duì)于說(shuō)話內(nèi)容的描述的方法。它先存儲(chǔ)音位格作為描述數(shù)據(jù)（而不是用純文本的形式），然后采取查詢(xún)/匹配的方法，并且它允許模糊處理和未知單詞的檢索。這個(gè)應(yīng)用可以使你能夠檢索某一段的說(shuō)話內(nèi)容，還能夠使用語(yǔ)音對(duì)某段內(nèi)容加上注解。
2.一般聲音識(shí)別和索引
當(dāng)你面對(duì)各種各樣的聲音，甚至是復(fù)雜的混合聲時(shí)，該怎么樣去識(shí)別其中的一個(gè)呢？當(dāng)你面對(duì)兩個(gè)相似的聲音時(shí)，怎樣去解決這個(gè)問(wèn)題呢？對(duì)它們進(jìn)行頻譜獨(dú)立分量分析和利用隱馬爾科夫模型就可以很好的區(qū)分出來(lái)。
3.存檔和恢復(fù)
這個(gè)應(yīng)用很好的解決了文化遺產(chǎn)（音頻部分）的保護(hù)問(wèn)題，我們可以對(duì)它們進(jìn)行存檔以給日后使用。我們經(jīng)常想要保存原始的錄音，這樣在日后我們可以對(duì)它進(jìn)行后期處理或者恢復(fù)。對(duì)于存檔和恢復(fù)音頻文件，MPEG-7是通過(guò)音質(zhì)描述編碼實(shí)現(xiàn)的，這其中包括對(duì)它們的一般音質(zhì)、技術(shù)錄音參數(shù)、缺陷的位置和類(lèi)型進(jìn)行記錄編碼。
4.樂(lè)器音色搜尋
人類(lèi)對(duì)于聲音的感覺(jué)不只包括音調(diào)、響度和持續(xù)時(shí)間，還包括音色的感知。MPEG-7通過(guò)使用感知相關(guān)特性去描述單聲道樂(lè)器聲以對(duì)聲音進(jìn)行比較，而且它還考慮了持續(xù)諧波聲和沖擊樂(lè)器聲。
5.旋律搜尋
對(duì)于如何搜尋旋律的問(wèn)題，它要求搜尋工具不僅能夠高效工作而且能夠容許音調(diào)和時(shí)間稍微不準(zhǔn)確。MPEG-7的方法是采用旋律描述編碼，它對(duì)音調(diào)、節(jié)奏、時(shí)間信息等進(jìn)行編碼，以進(jìn)行搜尋。
6.音頻識(shí)別/指紋
關(guān)于怎么識(shí)別一段錄音的問(wèn)題，MPEG-7所用到的方法是存儲(chǔ)數(shù)據(jù)庫(kù)的原始文件的MPEG-7的簽名/指紋來(lái)實(shí)現(xiàn)，再通過(guò)和數(shù)據(jù)庫(kù)簽名進(jìn)行匹配來(lái)識(shí)別未知的音頻材料。這種通過(guò)從音頻信號(hào)中抽取獨(dú)特簽名來(lái)自動(dòng)識(shí)別音頻內(nèi)容的音頻指紋方法獲得了廣泛的興趣。不僅如此，MPEG-7還可以應(yīng)用于說(shuō)話人的識(shí)別。
四. 結(jié)論
在發(fā)布了幾代的音視頻壓縮標(biāo)準(zhǔn)之后，MPEG標(biāo)準(zhǔn)小組把工作范圍延伸到了多媒體內(nèi)容的描述上。因?yàn)閷?duì)音視頻內(nèi)容的高效搜索和檢索的需求在不斷增長(zhǎng)，MPEG-7標(biāo)準(zhǔn)試圖為音視頻提供標(biāo)準(zhǔn)的內(nèi)容描述方法。尤其是標(biāo)準(zhǔn)中的很多描述工具被用來(lái)有效地表示內(nèi)容的內(nèi)部結(jié)構(gòu)和特性，而不是像其它的元數(shù)據(jù)標(biāo)準(zhǔn)一樣以純注解形式來(lái)描述。MPEG-7音頻提供了通用概念以及它有著面向應(yīng)用的特點(diǎn)，同時(shí)它具備很多功能，例如音樂(lè)的哼唱檢索應(yīng)用、聲音效果識(shí)別、樂(lè)器音色描述、說(shuō)話內(nèi)容的注釋、音頻信號(hào)的穩(wěn)健匹配等。