0 引言

    動態(tài)可重構(gòu)高速串行總線（UM-BUS)是一種利用多通道冗余方式來實現(xiàn)總線動態(tài)容錯功能的新型總線^[1]。

    為了驗證UM-BUS總線在傳輸速率、帶寬靈活性、動態(tài)容錯能力以及故障隔離能力等方面的優(yōu)勢^[2]，本文提出UM-BUS總線測試系統(tǒng)。實現(xiàn)測試系統(tǒng)功能的基礎(chǔ)是采集總線上傳輸?shù)臄?shù)據(jù)包，UM-BUS測試系統(tǒng)中的數(shù)據(jù)采集模塊首先將采集到的總線數(shù)據(jù)緩存到SDRAM存儲器中，再將數(shù)據(jù)傳輸?shù)絇C進行分析和處理。

    本文采用PCIe總線實現(xiàn)數(shù)據(jù)采集模塊與PC之間的通信，在研究PCIe總線協(xié)議和端點核（PCIe Endpoint Block）的基礎(chǔ)上，使用VIRTEX5系列XC5VLX85T芯片實現(xiàn)了PICe接口硬件電路，設(shè)計了基于FPGA的PCIe總線直接內(nèi)存存取(Direct Memory Access，DMA)數(shù)據(jù)傳輸方案。該方案不僅實現(xiàn)了數(shù)據(jù)從PC內(nèi)存通過PCIe總線傳輸至SDRAM內(nèi)存芯片中存儲，同時能夠?qū)DRAM芯片中存儲的數(shù)據(jù)讀出，并通過PCIe總線接口將數(shù)據(jù)傳輸回PC內(nèi)存顯示。

1 研究背景

1.1 UM-BUS總線介紹

    如圖1所示，UM-BUS采用一種多線路并發(fā)冗余的總線型拓?fù)浣Y(jié)構(gòu)，它最多可使用32條通道并發(fā)進行數(shù)據(jù)傳輸，能夠?qū)?1個通道的故障進行動態(tài)容錯^[2]。

1.2 UM-BUS測試系統(tǒng)簡介

    UM-BUS總線的測試系統(tǒng)主要實現(xiàn)3個功能：無過濾監(jiān)聽總線通信過程、故障注入以及總線狀態(tài)分析^[3]。實現(xiàn)PC對UM-BUS總線上傳輸數(shù)據(jù)包的接收和處理功能是實現(xiàn)總線測試功能的基礎(chǔ)。

    為了讓PC及時分析和處理測試系統(tǒng)采集到總線數(shù)據(jù)，本文采用PCIe2.0技術(shù)完成UM-BUS測試系統(tǒng)中數(shù)據(jù)與PC之間的傳輸。

2 基于PCIe的DMA傳輸方案設(shè)計

    本方案設(shè)計中，F(xiàn)PGA是最關(guān)鍵部分。它主要包括測試系統(tǒng)中數(shù)據(jù)的采集模塊、SDRAM控制時序模塊、用于在硬核的用戶接口和傳輸接口實現(xiàn)PCIe時序邏輯的PCIe的控制模塊。圖2是基于PCIe的數(shù)據(jù)傳輸系統(tǒng)結(jié)構(gòu)圖，其中寬箭頭指向的模塊是本文設(shè)計的數(shù)據(jù)傳輸系統(tǒng)中重點設(shè)計的模塊。

    UM-BUS測試系統(tǒng)將采集到的總線數(shù)據(jù)緩存在SDRAM存儲器中。PCIe控制模塊根據(jù)PC發(fā)出的數(shù)據(jù)傳輸請求，將SDRAM中存儲的總線數(shù)據(jù)傳輸?shù)絇C上；PCIe控制模塊也可以根據(jù)PC發(fā)出的數(shù)據(jù)傳輸請求，將數(shù)據(jù)從PC內(nèi)存通過PCIe接口向下傳輸?shù)紽PGA內(nèi)部，并通過FPGA內(nèi)部的SDRAM控制邏輯將數(shù)據(jù)傳輸?shù)降腟DRAM內(nèi)存芯片中存儲。

    本文利用Xilinx官網(wǎng)提供的IP核來實現(xiàn)基于PCIe總線的DMA數(shù)據(jù)傳輸方式設(shè)計。圖3是IP核的功能框圖及各個接口^[4]。

    各個接口的功能：用戶邏輯接口用于與 PCIe的IP 核通信；配置接口實現(xiàn)主機對IP 核的配置；物理層接口用于與根復(fù)合體或橋連接；系統(tǒng)接口含有時鐘信號和系統(tǒng)復(fù)位信號。

    本文應(yīng)用PCIe2.0技術(shù)，實現(xiàn)UM-BUS總線測試系統(tǒng)與PC之間的通信，通過編寫PCIe用戶邏輯接口程序?qū)崿F(xiàn)PCIe的數(shù)據(jù)傳輸功能。

3 硬件設(shè)計方案

    本文在FPGA中設(shè)計了PCIe的控制模塊和SDRAM控制模塊。PCIe 的控制模塊有PCIe讀寫時序控制、對SDRAM控制器的控制。SDRAM控制模塊是一個雙口SDRAM控制器，它的左口邏輯作為PCIe總線的DMA寫傳輸時數(shù)據(jù)的讀出口，右口邏輯作為PCIe總線的DMA讀傳輸時數(shù)據(jù)的寫入口。本設(shè)計的硬件部分主要有PCIe 的控制模塊和SDRAM控制模塊。下面主要介紹這兩個模塊的設(shè)計。

3.1 PCIe的控制模塊設(shè)計

    本設(shè)計中的PCIe總線接口卡含有一片XC5VLX85T芯片，使用該FPGA實現(xiàn)PCIe總線數(shù)據(jù)傳輸?shù)臅r序邏輯，圖4為總線接口卡FPGA的程序結(jié)構(gòu)框圖及用戶邏輯結(jié)構(gòu)圖^[5]。

    XC5VLX85T芯片內(nèi)嵌的PCIe IP核為Endpoint Block plus for PCI Express，實現(xiàn)了PCIe總線的基本協(xié)議功能。

    為了實現(xiàn)PCIe的數(shù)據(jù)傳輸功能，主要是要進行用戶邏輯的設(shè)計。用戶邏輯與PCIe的事務(wù)層接口直接連接，可發(fā)送或接收事務(wù)層數(shù)據(jù)包，用以實現(xiàn)BAR0空間的訪問功能和DMA讀寫功能^[6]。下面將分存儲器讀寫兩個操作以及DMA數(shù)據(jù)傳輸方式的實現(xiàn)來說明PCIe用戶邏輯的設(shè)計。

3.1.1 Burst存儲器寫操作的設(shè)計與實現(xiàn)

    對于存儲器寫請求，實現(xiàn)的主要方法是數(shù)據(jù)接收控制器EP_RX將接收到的TLP包頭中各個字段進行正確解析，并區(qū)分是單字寫還是Burst寫請求，以及確定寫操作的數(shù)據(jù)長度。如果是單字寫請求，就將TLP包中的64 bit數(shù)據(jù)存入寄存器中；如果是Burst寫請求，就將TLP包中的有效數(shù)據(jù)載荷區(qū)的數(shù)據(jù)按照64 bit寫入雙口緩沖區(qū)，每過一個時鐘周期地址自動增加，直到數(shù)據(jù)全部存入到雙口緩沖區(qū)，一次Burst寫操作完成。

3.1.2 Burst存儲器讀操作的設(shè)計與實現(xiàn)

    對于存儲器讀請求，實現(xiàn)的主要方法是數(shù)據(jù)接收控制器EP_RX將接收到的TLP包頭中各個字段進行正確解析，并將請求數(shù)據(jù)的起始地址和數(shù)據(jù)長度發(fā)送給數(shù)據(jù)發(fā)送控制器EP_TX，然后啟動EP_TX發(fā)送完成數(shù)據(jù)。

3.1.3 DMA功能的實現(xiàn)

    本文采用DMA的方式用于FPGA外部存儲器SDRAM與系統(tǒng)內(nèi)存之間的數(shù)據(jù)傳輸。采用DMA方式訪問外部存儲器的最大優(yōu)勢是CPU配置完DMA狀態(tài)機后可繼續(xù)執(zhí)行其他指令操作。DMA狀態(tài)機通過請求PCIe 總線中斷完成數(shù)據(jù)傳輸。

    本設(shè)計中DMA寫傳輸?shù)臄?shù)據(jù)包格式是存儲器寫請求TLP，DMA讀傳輸?shù)臄?shù)據(jù)包格式是存儲器讀請求TLP與存儲器讀完成TLP^[7]。

    下面以DMA寫為例說明DMA的設(shè)計。PCIe的DMA寫數(shù)據(jù)傳輸方式主要是將TLP包頭中的各個字段進行正確填充，并將數(shù)據(jù)按照64 bit并行放在TLP的包頭，然后傳輸給PCIe IP硬核，最后硬核以PCIe總線協(xié)議串行傳輸給PC。DMA寫數(shù)據(jù)傳輸?shù)臓顟B(tài)機轉(zhuǎn)換圖如圖5所示。

    DMA在進行數(shù)據(jù)傳輸時，傳輸一次TLP包的最大載荷為128 B，圖5中當(dāng)M=128時，表明包的一次傳輸結(jié)束。此時判斷當(dāng)前傳輸?shù)淖止?jié)數(shù)與DMA所要傳輸?shù)淖止?jié)數(shù)是否相等，如果不相等則繼續(xù)傳輸，直至所有數(shù)據(jù)傳輸完畢，DMA傳輸結(jié)束。

3.2 高速緩存SDRAM控制模塊設(shè)計

    高速緩存SDRAM控制模塊主要實現(xiàn)SDRAM控制器的功能，進而實現(xiàn)對系統(tǒng)中的高速數(shù)據(jù)進行緩存的功能。SDRAM控制器直接控制SDRAM存儲器進行數(shù)據(jù)的讀取。為了提高整個測試系統(tǒng)的可靠性和高速性，本文使用的SDRAM控制器采用猝發(fā)式數(shù)據(jù)讀寫模式，可以高速實時地向SDRAM讀寫數(shù)據(jù)。

    由于PCIe IP核傳輸?shù)臄?shù)據(jù)是64 bit，而測試系統(tǒng)中SDRAM存儲器對數(shù)據(jù)位寬要求是32 bit，因此要完成對數(shù)據(jù)位寬的匹配。在進行數(shù)據(jù)位寬匹配時，一定要兼顧到PCIe數(shù)據(jù)傳輸?shù)臅r序邏輯。本文采用異步FIFO來實現(xiàn)數(shù)據(jù)位寬的匹配。由于數(shù)據(jù)傳輸時采用DMA的方式，所以在進行DMA讀寫操作時都需要異步FIFO來完成數(shù)據(jù)匹配功能。圖6為在進行DMA寫操作時PCIe和SDRAM存儲器進行數(shù)據(jù)位寬匹配的狀態(tài)機，圖7為在進行DMA讀操作時PCIe和SDRAM存儲器進行數(shù)據(jù)位寬匹配的狀態(tài)機。

4 結(jié)果與驗證

    本文設(shè)置使用PCIe的x1通道，經(jīng)過測試軟件多次測試，從PC經(jīng)過PCIe總線存儲到SDRAM存儲器的數(shù)據(jù)正確，滿足PCIe總線傳輸數(shù)據(jù)的時序要求，同時滿足SDRAM存儲器的數(shù)據(jù)讀寫時序要求。DMA數(shù)據(jù)傳輸操作正確，且速度可穩(wěn)定達(dá)到200 MB/s以上，滿足UM-BUS總線對測試系統(tǒng)數(shù)據(jù)傳輸速率的要求。

    經(jīng)過多次測試，發(fā)現(xiàn)傳輸速率與傳輸數(shù)據(jù)包的大小（size）以及包的個數(shù)(tlp)有關(guān)。設(shè)定數(shù)據(jù)包的大小為32個雙字，當(dāng)數(shù)據(jù)包的大小和包的個數(shù)越多時，數(shù)據(jù)的傳輸速率呈現(xiàn)下降趨勢。圖8為DMA寫操作傳輸數(shù)據(jù)包的大小（size）為固定值32個雙字的傳輸速率圖。

5 結(jié)束語

    本文實現(xiàn)的基于PCIe總線DMA方式的數(shù)據(jù)傳輸系統(tǒng)可以完成上位機與SDRAM存儲器通過PCIe總線以DMA的方式進行數(shù)據(jù)傳輸?shù)墓δ堋?/p>

    本文的設(shè)計方法釆用內(nèi)嵌在FPGA的PCIe IP核，降低了硬件設(shè)計復(fù)雜度。實際工程應(yīng)用表明該PCIe接口達(dá)到了較高的數(shù)據(jù)傳輸速率，滿足UM-BUS總線測試系統(tǒng)對高速數(shù)據(jù)傳輸?shù)男枨蟆?/p>

參考文獻(xiàn)

[1] 王嘉佳.動態(tài)可重構(gòu)總線控制器的設(shè)計與實現(xiàn)[D].北京：首都師范大學(xué)，2012.

[2] 鄧哲，張偉功，朱曉燕，等.動態(tài)可重構(gòu)總線數(shù)據(jù)傳輸管理方法設(shè)計與實現(xiàn)[J].計算機工程，2013，39(1)：264-269.

[3] 陜天龍，周繼芹，王春亮，等.USB在動態(tài)可重構(gòu)總線測試系統(tǒng)中的設(shè)計[J].計算機工程與設(shè)計，2015，36(2)：514-519.

[4] Xilinx DS551.LogiCORE IP Endpoint Block Plus v1.15 for PCI Express[Z].2011.

[5] Xilinx.LogiCORE1M IP Endpoint Block Plus vl.14 for PCI Express user guide[Z].USA：Xilinx，2010.

[6] 牛少平，田澤，廖寅龍.PCI Express專用DMA控制器設(shè)計與實現(xiàn)[J].計算機技術(shù)與發(fā)展，2012，22(7)：174-176.

[7] 王齊.PCI Express體系結(jié)構(gòu)導(dǎo)讀[M].北京：機械工業(yè)出版社，2010.