摘  要： 近年來，隨著MOOC、翻轉(zhuǎn)課堂等在線教育產(chǎn)品的推出，互聯(lián)網(wǎng)正漸漸改變著傳統(tǒng)的教學(xué)方式，其關(guān)鍵因素在于優(yōu)質(zhì)、個(gè)性化教學(xué)視頻的錄制。本文介紹了一種基于TI DM365 芯片的嵌入式智能導(dǎo)播錄課系統(tǒng)，硬件上采用TI DM365 DSP芯片接收3路視頻和2路音頻，并提供USB、LAN及WiFi接口；軟件上采用FFmpeg開源庫中先進(jìn)的音視頻編解碼庫libavcodec，系統(tǒng)上位機(jī)軟件基于VS2013 C++開發(fā)。該系統(tǒng)具有多路音、視頻混流解碼，六種智能導(dǎo)播和切換模式，本地、云端存儲和點(diǎn)播回放等功能。系統(tǒng)測試結(jié)果表明：該系統(tǒng)性能穩(wěn)定、音視頻延時(shí)率小于100 ms，所錄制的視頻的分辨率達(dá)到1080 p、音質(zhì)效果佳。與現(xiàn)有的錄課方式相比，本系統(tǒng)具有簡約化、便捷化、經(jīng)濟(jì)化和人性化等優(yōu)勢。

　　關(guān)鍵詞： 智能導(dǎo)播；錄課系統(tǒng)；FFmpeg；TI DM365；DSP芯片技術(shù)

0 引言

　　近年來，隨著計(jì)算機(jī)軟硬件、互聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展，信息化教學(xué)技術(shù)也在不斷更新、進(jìn)步和發(fā)展。信息化教學(xué)為學(xué)習(xí)提供了全新的交流通訊手段、豐富的資源和多樣化的學(xué)習(xí)方式，為高效學(xué)習(xí)帶來了更多的契機(jī)[1]。MOOC[2]（慕課）作為一種在線課程開發(fā)模式，自2012年以來得到了快速的發(fā)展。其主要教學(xué)內(nèi)容以個(gè)性化的教學(xué)視頻為主?，F(xiàn)在比較受歡迎的慕課教學(xué)平臺coursera，擁有1 120萬以上的成員，與世界118所大學(xué)合作提供939門課程。除了慕課之外，SPOC（翻轉(zhuǎn)課堂）[3]這種重新調(diào)整課堂內(nèi)外的時(shí)間，將學(xué)習(xí)的決定權(quán)從教師轉(zhuǎn)移給學(xué)生的教學(xué)方式也隨之普及。慕課教學(xué)和翻轉(zhuǎn)課堂等新型的教育模式，打破了傳統(tǒng)教育資源壁壘，重新整合優(yōu)質(zhì)資源的學(xué)習(xí)方法，隨著知名度的提升，必然會成為世界教學(xué)的趨勢[4]。

　　慕課教學(xué)和翻轉(zhuǎn)課堂等新型教學(xué)方式的關(guān)鍵性因素是個(gè)性化教學(xué)視頻的錄制。然而，視頻錄制卻存在著種種問題?，F(xiàn)有視頻的錄制主要通過專業(yè)拍攝團(tuán)隊(duì)錄制、錄課教室錄制、攝像機(jī)錄制、軟件錄制四種方式。通過訪問調(diào)查，通過專業(yè)拍攝團(tuán)隊(duì)錄制其價(jià)格為1 000~ 1 500元每課時(shí)。而特殊布置過的智慧教室進(jìn)行錄制成本也較為昂貴。以寧波大學(xué)為例，2014年，寧波大學(xué)花費(fèi)230萬元購置16間教室；2011年，錄課教室價(jià)格為平均62.5萬元/間。除此之外，錄播教室受環(huán)境因素的制約大，一定程度上打擊了老師的積極性。采訪通過軟件進(jìn)行錄制的老師，發(fā)現(xiàn)通過電腦錄制視頻，由于沒有學(xué)生參與，教師授課的真實(shí)感差，導(dǎo)致教學(xué)效果不理想。同時(shí)，錄制視頻后期的剪輯成型需要一系列復(fù)雜的工具處理，需要花費(fèi)大量時(shí)間和精力，讓許多優(yōu)秀的老師對新型的教學(xué)方式望而卻步。

　　針對上述教學(xué)視頻錄制所存在的問題，設(shè)計(jì)發(fā)明一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng)，它將龐大的智慧教室的所有設(shè)備以及相應(yīng)的功能濃縮在了一個(gè)機(jī)器人上，同時(shí)將一系列復(fù)雜的視頻處理精簡成為混合輸出的方式，可應(yīng)用于小學(xué)、初中、高中、大學(xué)等各大教育機(jī)構(gòu)和想要傳播想法的個(gè)人等。

1 系統(tǒng)總體設(shè)計(jì)

　　1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

　　所設(shè)計(jì)的智能導(dǎo)播錄課系統(tǒng)通過一個(gè)類人型機(jī)器人得以呈現(xiàn)，機(jī)器人由攝像頭、麥克風(fēng)、平板電腦、DM365芯片組成。

　　圖1是整個(gè)系統(tǒng)的拓?fù)鋱D，該系統(tǒng)有三路視頻源、兩路音頻源輸入，集成在平板上的錄制回放下位機(jī)提供控制指令和實(shí)現(xiàn)人機(jī)交互，一路視頻信號采集教師的授課圖像，一路視頻采集教師授課課件的圖像，通過路由器將兩路視頻信號疊加，同時(shí)和音頻信號混頻，并通過RJ45口TS流輸出，最終通過開發(fā)的軟件在PC終端上解碼顯示。系統(tǒng)提供WiFi、USB、RJ45高速LAN接口，方便教師將課件拷入系統(tǒng)，并將錄制完的視頻直接上傳至服務(wù)器或直接U盤輸出。

　　1.2 子系統(tǒng)功能

　　1.2.1 視頻采集

　　視頻采集子系統(tǒng)包含三路視頻信號采集，第一路是教師攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365教師視頻采集板；第二路是平板電腦輸出的HDMI信號，通過VGA接口傳遞給DM365平板電腦視頻采集板；第三路是學(xué)生攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365學(xué)生視頻采集板。所有三路信號均由DM365達(dá)芬奇技術(shù)編碼成TS流。

　　1.2.2 音頻采集

　　第一路是麥克風(fēng)采集的教師授課音頻AAC信號，通過標(biāo)準(zhǔn)3.5 mm接口輸出至DM365教師視頻采集板；第二路是平板電腦中講義聲音，由HDMI轉(zhuǎn)VGA和標(biāo)準(zhǔn)3.5 mm接口輸出至DM365平板電腦視頻采集板。

　　1.2.3 智能導(dǎo)播

　　（1）教師端平板識別教師上課指令，對完整架構(gòu)的視頻TS流進(jìn)行保存，實(shí)現(xiàn)一鍵錄制的功能，所錄制的視頻可以通過U盤輸出或直接上傳至百度云。

　?。?）錄制回放下位機(jī)接收控制指令，解碼三路TS流并架構(gòu)進(jìn)行導(dǎo)播。導(dǎo)播方式有6種：課件全屏、學(xué)生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學(xué)生右上角小屏）。

　　1.2.4 交互控制

　　交互控制指的是智能導(dǎo)播的軟件控制，通過5224端口識別教師動(dòng)作并與特殊端口通信。

　　1.2.5主存儲

　　智能導(dǎo)播錄課系統(tǒng)內(nèi)置導(dǎo)播模式軟件，通過錄制下位機(jī)整合回放錄課視頻，以TS流的形式保存MPEG2-TS格式的文件，實(shí)現(xiàn)視頻流的任一片段都可以進(jìn)行獨(dú)立解碼[5]。一方面，所錄制的視頻可通過U盤拷貝，方便后期簡單修改；另一方面，視頻可直接云端上傳，讓學(xué)生能夠第一時(shí)間觀看課堂視頻。

2 硬件設(shè)計(jì)

　　2.1 音視頻采集與編碼

　　系統(tǒng)的三路視頻源、兩路音頻源輸入均采用TI公司的DM365 DSP芯片技術(shù)進(jìn)行處理，高速完成數(shù)字音/視頻信號的采集、編碼等工作。如圖2所示。

　　本系統(tǒng)首先由SDI攝像頭模組捕獲視頻，將捕獲的視頻數(shù)據(jù)送入核心處理器DM365中進(jìn)行圖像信號處理（ISP），然后利用處理器的硬件加速器（協(xié)處理器）進(jìn)行相應(yīng)的編碼壓縮等操作，得到編碼流數(shù)據(jù)，接著基于TCP/IP協(xié)議通過網(wǎng)絡(luò)將編碼后的數(shù)據(jù)（TS流）傳輸?shù)脚c它相連接的下位機(jī)中。由于編碼所需系統(tǒng)資源較大，所以需要將單一節(jié)點(diǎn)的編碼運(yùn)算壓力分?jǐn)偟饺废挛粰C(jī)上實(shí)現(xiàn)，整個(gè)系統(tǒng)可接收3路視頻輸入和2路音頻輸入。

　　對3路SDI高清視頻信號的處理，其數(shù)據(jù)流的載體框架如下：一方面SDI視頻從輸入口經(jīng)過GV7601并經(jīng)GV8500后輸出；另一方面GV7601與核心視頻處理器DM365和CPLD處理視頻流的編碼壓縮等。其中GV7601相當(dāng)于一個(gè)中繼器，而GV8500相當(dāng)于驅(qū)動(dòng)，實(shí)時(shí)地完成高清視頻流從輸入到完整輸出的整個(gè)過程。為了能夠?qū)PLD和DSP編程，專門設(shè)置了JTAG接口和RS232接口。

　　對2路音頻信號的處理擬采用基于MPEG-2AAC音頻編碼技術(shù)[6]，其壓縮比可達(dá)到18：1。AAC的音頻算法在壓縮能力上遠(yuǎn)遠(yuǎn)超過了其他傳統(tǒng)音頻壓縮算法（如MP3等），它能同時(shí)支持多達(dá)48個(gè)音軌、15個(gè)低頻音軌、更多種采樣率和比特率、多種語言的兼容能力、更高的解碼效率。

　　2.2 導(dǎo)播控制

　?。?）錄制過程：一塊DM365 DSP芯片采集平板上所顯示教師講義的HDMI信號，編碼形成教師講義TS流，教師按照平板中提示界面對課程進(jìn)行一鍵錄制，平板同時(shí)提取教師對教學(xué)講義的交互信號。使用時(shí)，教師手動(dòng)滑動(dòng)平板電腦的觸摸屏對教學(xué)講義進(jìn)行操作，或者利用無線遙控器實(shí)現(xiàn)對教學(xué)講義的控制，這些行為被提取抽象成控制信號，控制信號通過特定端口同時(shí)與三塊DM365 DSP芯片輸出的TS流信號匯集并傳送到錄制回放下位機(jī)中。

　?。?）多種導(dǎo)播模式與回放實(shí)現(xiàn)：通過設(shè)計(jì)智能導(dǎo)播錄課系統(tǒng)實(shí)現(xiàn)了六種導(dǎo)播模式：課件全屏、學(xué)生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學(xué)生右上角小屏）。錄制回放下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流、學(xué)生視頻TS流、教師講義TS流，并接收特定端口傳出的控制信號對TS流進(jìn)行解碼架構(gòu)實(shí)現(xiàn)回放，混頻輸出顯示。

　　（3）網(wǎng)絡(luò)支持：TS流的讀入均采用TCP/IP協(xié)議通信，教師授課TS流、學(xué)生視頻TS流、教師講義TS流統(tǒng)一采用TCP端口5223進(jìn)行socket流通信；控制信號通過TCP端口5224進(jìn)行傳輸。

　　2.3 云端存儲

　　系統(tǒng)具有WiFi、USB、RJ45高速LAN接口，提供U盤拷貝和云端上傳兩種輸出方式。通過U盤拷貝和云端上傳兩種輸出方式，教師在授課結(jié)束后既可通過U盤拷貝已完成編碼的視頻，也可選擇上傳至特殊的百度云賬號，依托百度云的海量數(shù)據(jù)存儲和斷點(diǎn)上傳功能，教師和學(xué)生均可登錄云盤在線觀看或是下載視頻，實(shí)現(xiàn)多終端多平臺的支持，云端錄課視頻可在電腦端和手機(jī)端下載觀看。本系統(tǒng)服務(wù)器架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)的脫機(jī)工作，更大程度地減輕了教師上傳的工作量和運(yùn)營維護(hù)的時(shí)間成本。

3 軟件設(shè)計(jì)

　　3.1 系統(tǒng)整體軟件設(shè)計(jì)

　　高清SDI音視頻編碼器以嵌入式視頻處理板為系統(tǒng)核心，處理器依靠內(nèi)部集成的H.264高清編碼協(xié)處理器HDVICP完成視頻的H.264實(shí)時(shí)壓縮編碼，輸出TS音、視頻流。由ARM端程序接收到音視頻流，然后按照恰當(dāng)?shù)姆庋b策略封裝成TS包，最后通過以太網(wǎng)卡發(fā)送給接收端。

　　系統(tǒng)整體軟件設(shè)計(jì)圖如圖3所示。

　　智能導(dǎo)播錄課系統(tǒng)通過軟件層面的設(shè)計(jì)，讓教師們可以隨時(shí)隨地進(jìn)行課程的錄制，并及時(shí)地將錄制完成的課程進(jìn)行上傳，讓學(xué)生們可以在第一時(shí)間通過手機(jī)或者電腦進(jìn)行課程的學(xué)習(xí)。

　　3.2 采集模塊

　　采集模塊的軟件流程圖如圖4。主要分為以下幾部分：連接IP并確定端口、定義結(jié)構(gòu)體、設(shè)置視頻圖像參數(shù)、設(shè)置音頻聲音參數(shù)。

　　3.3 視頻數(shù)據(jù)編碼模塊

　　視頻數(shù)據(jù)編碼模塊的軟件流程圖如圖5。主要分為以下幾部分：創(chuàng)建sock、讀取預(yù)設(shè)文件中的對應(yīng)板子的IP地址、通過socket接受一幀數(shù)據(jù)、關(guān)閉socket。

　　3.4 智能導(dǎo)播模塊

　　智能導(dǎo)播錄課系統(tǒng)通過與視頻流相同信道、不同端口進(jìn)行導(dǎo)播控制指令的發(fā)送與接收。教師機(jī)控制端實(shí)現(xiàn)軟件智能切換算法，檢測用戶錄課過程中的特定行為，并判斷決定以何種導(dǎo)播模式，通過5224端口向回放端發(fā)送指令；終端回放端接收控制端發(fā)出的控制指令，讀取特定端口的socket，并按導(dǎo)播模式顯示。

　　云端存儲流程圖如圖6所示。智能導(dǎo)播錄制系統(tǒng)通過下位機(jī)根據(jù)內(nèi)置的導(dǎo)播模式，回放整合后的視頻，并形成新的一路TS流實(shí)現(xiàn)文件的保存，保存文件的格式為MPEG2-TS。教師可以通過U盤拷貝或者直接通過云端上傳存儲。

　　3.6 回放模塊

　　錄制下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流、學(xué)生視頻TS流、教師講義TS流，并且接收特定端口傳出的控制信號。通過開源FFMPEG庫實(shí)現(xiàn)錄課過程中所有的視頻編解碼、編譯及播放功能[7]以及選擇導(dǎo)播模式來實(shí)現(xiàn)對TS流的解碼與架構(gòu)。通過下位機(jī)上的具有智能導(dǎo)播切換功能的軟件播放器，將TI DM365輸出的H.264視頻文件和AAC音頻文件以TS流上傳至云端服務(wù)器，提供點(diǎn)播回放功能。

4 結(jié)果及分析

　　4.1 系統(tǒng)成果

　　系統(tǒng)成果圖如圖7所示，在智能錄課導(dǎo)播機(jī)器人正面放置平板、攝像頭及麥克風(fēng)。平板模擬教師與學(xué)生面對面交流的情境，機(jī)器“學(xué)生”面對教師聽課，模擬學(xué)生課堂反應(yīng)；攝像頭能實(shí)時(shí)錄制教師上課和學(xué)生聽課的過程，集成智慧教室的功能；麥克風(fēng)放大老師的聲音。通過DM365芯片采集視頻信號至路由器，通過路由器及內(nèi)網(wǎng)交換同時(shí)結(jié)合多媒體講義混成輸出視頻，可直接上傳至云端服務(wù)器進(jìn)行廣播，通過PC、Android等終端供學(xué)生使用。本實(shí)驗(yàn)調(diào)試時(shí)所使用的終端電腦為華碩N53T筆記本電腦。

　　4.2 軟件效果圖

　　如圖8是使用智能導(dǎo)播錄課機(jī)器人錄制的教學(xué)視頻所截取的一張畫中畫1（課件右主屏、教師頭像左下角小屏）的效果圖。

　　4.3 系統(tǒng)性能測試及分析

　　輸出視頻格式：MPEG2-TS；

　　導(dǎo)播方式：兩路音頻、三路視頻混疊后的六種智能導(dǎo)播切換模式；

　　輸出方式：USB、WiFi、網(wǎng)絡(luò)云盤；

　　視頻清晰度：1 080 p；

　　音視頻延時(shí)率：<100 ms。

　　智能導(dǎo)播錄課系統(tǒng)錄制的視頻格式為MPEG2-TS，MPEG2-TS是一種用于音效、影像與資料的通信協(xié)議。對HDV信號的采集與其他DV一樣實(shí)時(shí)采集，視頻源文件轉(zhuǎn)換成為MPEG2格式并保存。智能導(dǎo)播錄制系統(tǒng)所采用的導(dǎo)播方式為兩路音視頻混疊，并且音視頻的延時(shí)率達(dá)到小于100 ms。導(dǎo)播視頻根據(jù)教師上課課件以及教師上課的肢體反應(yīng)實(shí)時(shí)進(jìn)行切換，輸出視頻的分辨率達(dá)到1 080 p。錄制結(jié)束時(shí)，視頻可以直接通過USB輸出或者通過網(wǎng)絡(luò)直接上傳至云盤，方便學(xué)生進(jìn)行觀看。

　　4.4 系統(tǒng)特色與優(yōu)勢

　?。?）系統(tǒng)通過簡約化的設(shè)計(jì)，將一個(gè)錄播教室的一整套功能濃縮到了一個(gè)單機(jī)中；

　?。?）系統(tǒng)通過便捷化的處理，把一套繁瑣的視頻處理程序精簡成了直接通過U盤輸出和云端存儲；

　?。?）系統(tǒng)具有經(jīng)濟(jì)化的思想，成本價(jià)格控制在1萬元左右；

　?。?）系統(tǒng)秉持著人性化的理念，將原本枯燥無味的錄制過程轉(zhuǎn)換成了一個(gè)模擬環(huán)境，讓教師能夠真實(shí)地感受上課環(huán)境，提高視頻的質(zhì)量。

5 結(jié)論

　　本文設(shè)計(jì)了一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng)，該系統(tǒng)能夠顯著地提高教師錄課視頻的質(zhì)量。通過智能導(dǎo)播錄課系統(tǒng)進(jìn)行視頻的錄制，在節(jié)約錄課成本的同時(shí)，與現(xiàn)有的其他錄課方式相比，機(jī)器所占的空間明顯減少，對操作者的處理技術(shù)水平幾乎沒有任何要求，同時(shí)輸出視頻的分辨率為1 080 p，音頻與視頻的延時(shí)率小于100 ms。與現(xiàn)有的錄課方式相比，本文設(shè)計(jì)的智能導(dǎo)播錄課系統(tǒng)簡約化、便捷化、經(jīng)濟(jì)化和人性化的特點(diǎn)相對突出，輸出視頻的優(yōu)質(zhì)性也更加顯著。

參考文獻(xiàn)

　　[1] 劉斌.信息化教學(xué)有效性的理論思考——對信息化教學(xué)本質(zhì)的再認(rèn)識[J].現(xiàn)代教育技術(shù)，2013（3）：26-29.

　　[2] 宋德清.MOOC在社區(qū)教育中的應(yīng)用路徑探索——基于開放大學(xué)建設(shè)的視角[J].遠(yuǎn)程教育雜志，2013（6）：68-74.

　　[3] 張金磊，王穎，張寶輝.翻轉(zhuǎn)課堂教學(xué)模式研究[J].遠(yuǎn)程教育雜志，2012（4）：46-51.

　　[4] 程國均，陳詠陶.注重學(xué)生參與的創(chuàng)新教學(xué)模式[J].西南民族學(xué)院學(xué)報(bào)：哲學(xué)社會科學(xué)版，2002（5）：240-242.

　　[5] 陳衛(wèi)兵，徐重陽，劉衛(wèi)忠.ES流復(fù)用成MPEG-2 TS流的緩沖區(qū)控制策略及實(shí)現(xiàn)[J].中國有線電視，2003（5）：6-9.

　　[6] 陳濤，黃東軍.MPEG-2／4AAC實(shí)時(shí)音頻編碼器實(shí)現(xiàn)性能優(yōu)化研究進(jìn)展[J].電聲技術(shù)，2008（5）：45-50.

　　[7] 蔣志峰．FFmpeg的快速音視頻開發(fā)方法[J]．單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2008（1）：69-71.