摘要：隨著信息技術和計算機技術的飛速發(fā)展，大量的語音、數據、圖像、圖形等信息需要計算平臺進行實時感知和處理，用戶對高性能、高帶寬、抗惡劣環(huán)境計算平臺也提出了越來越高的要求。本文提出一種基于VPX總線設計的高級計算平臺，為高性能、高帶寬、適應惡劣環(huán)境計算平臺的實現(xiàn)提供了技術路線和方法。
關鍵詞：VPX總線高級計算平臺多CPU高速互聯(lián)智能平臺管理軟件
第一作者介紹：陳志列（1963年），男，高級工程師，研究方向為特種計算機
　　　　　　　　　　　AdvancedComputingPlatformBasedonVPXBus
Abstract:Alongwiththerapiddevelopmentoftheinformationtechnologyandthecomputertechnology,alargequantityofinformationsuchasvoice,data,imageandgraphics,etcrequiresreal-timeperceptionandprocessing;higherrequirementsareraisedforthehighperformance,highbandwidthandhushenvironmentresistantcomputingplatform.AnadvancedcomputingplatformbasedonVPXbusisdiscussedinthepaper,whichprovidesthetechnologyroutesandmethodstorealizethehigh-performance,highbandwidthandhushenvironmentresistantcomputingplatform.
Keywords:VPXbus;advancedcomputingplatform;versatileCPUhigh-speedinterconnection;intelligentplatformmanagementsoftware

　　引言
　　隨著信息技術和計算機技術的飛速發(fā)展，未來社會將是一個高效的數字化社會，大量的語音、數據、圖像、圖形等信息需要計算平臺進行實時感知和處理。而伴隨著計算機在各個領域的深入，特別是在航空航天控制、海底勘探考察、地震火山的災難檢測、大規(guī)模導彈發(fā)射控制、雷達監(jiān)測及電子對抗、以及地外星球科考等高端測控領域，用戶對高性能、抗惡劣環(huán)境計算平臺也提出了越來越高的要求，使得傳統(tǒng)的并行總線正在逐漸退出歷史舞臺，出現(xiàn)了新一代的串行總線。但在惡劣環(huán)境適應性方面，商用總線技術在堅固性方面不能長期適應惡劣工作環(huán)境的需求，而在接口的模塊化、動態(tài)重組等方面也難以滿足應用需要，其可靠性不高且維修極不方便。并且近年來CPCI總線工控機和VME總線工控機處在一個共同競爭和發(fā)展的并存狀況[1]，由于先入為主的緣故，VME總線在高性能的實時工業(yè)應用領域一直處于主導地位。但CPCI后來居上，其開放性的架構體系和通用的操作系統(tǒng)等優(yōu)勢，使CPCI總線自誕生起在PC機、工控機和軍用裝備等各個領域受到廣泛關注并被普遍采用。遺憾的是，在這個以帶寬為生命的海量數據時代，目前這兩種總線均顯得力不從心。迫于生存和競爭，VITA于2006年首次推出VPX總線技術標準（VITA46）和REDI加固增強的機械設計規(guī)范（VITA48），不僅在帶寬上突破Gigabytes傳輸，而且非常好的解決了加固，高速互聯(lián)，管理等各個方面的問題，可以廣泛的應用在航空、航天、雷達、海底勘探、通信等領域。
　　VPX總線的發(fā)展歷史
　　VPX（VersatileProtocolSwitch多協(xié)議交換）是由VITA（VMEbusInternationalTradeAssociation）組織制定的用以滿足惡劣環(huán)境下高可靠性、高帶寬要求的下一代高級計算平臺標準。由原先的VME（VersaModuleEurocard）總線升級而來，并且兼容了XMC、FibreChannel、PCI-Express、RapidIO、Hypertransport等高速串行總線協(xié)議。誕生于近30年前的VME總線是一種通用的計算機總線，結合了Motorola公司Versa總線的電氣規(guī)范和Eurocard機械封裝標準，是一種開放式架構，支持并獨立于多處理器計算機系統(tǒng)。1984年，VITA成立，致力于推動VME總線的市場和發(fā)展。1987年，VME總線被IEEE正式接納為萬用背板總線（VersatileBackPlaneBus）標準，標準號為ANSI/IEEE-1014，總線接口為兩個96芯的針孔連接器，數據寬度為32位，帶寬為40MB/s，市場名稱為VME32。伴隨電子技術的發(fā)展，VITA先后多次推出升級版本，如VME64、VME64x、VME320。其中，VME64數據寬度從原先的32位擴展為64位，把P1/J1和P2/J2連接器從三行96針改為5行160針，帶寬為80MB/s，增加了總線鎖定周期和第一插槽探測功能，并加入了對熱插拔的支持；VME64x相對于VME64，在P1/J1和P2/J2之間加入了一個P0/J0連接器，傳輸協(xié)議從四沿傳輸變?yōu)殡p沿信號傳輸，數據速率可達到160MB/s；其后VME320在VME64x基礎上進一步采用雙沿源同步傳輸協(xié)議（2eSST），可將理論帶寬提高到320MB/s，但用戶對VME的帶寬進展速度不滿意，此外，設備性能的大幅提高也帶來了發(fā)熱量迅速增加和可靠性降低等派生問題。近幾年，為了滿足更大帶寬和更強制冷能力的要求，VITA先后推出VXS（VITA41）、VPX（VITA46）和REDI（VITA48）等一系列新的模塊標準。其中，VPX全部采用的MultiGigRT2連接器具有連接緊密、插入損耗小和誤碼率底等優(yōu)點；通過結合REDI構成的VPX-REDI平臺可以滿足苛刻環(huán)境和大帶寬的需求。
VPX定義了新型的高速連接器標準，每個模塊最多支持728個信號引腳，所有連接器均支持高速差分信號，能夠支持PCI-Express，10GEthernet，SerialRapidIO等協(xié)議；定義了風冷，傳導，水冷等5種加固散熱結構；定義了中央交換，分布式交換的背板結構；定義了模擬信號和光信號的模塊背板互聯(lián)標準；定義了電源標準；定義了基于IPMI的智能管理，非常好的解決了加固，高速互聯(lián)，管理等各個方面的問題。

　　基于VPX總線的高級計算平臺需要解決的關鍵問題
　　基于VPX總線的高級計算平臺，需要研究多協(xié)議高速互連、高性能CPU硬件平臺、高可靠性保護、智能管理、冗余設計、傳導散熱結構等關鍵技術。要解決如下關鍵技術問題：1）VPX高級計算平臺的環(huán)境適應性問題，平臺需滿足對航空航天控制、導彈/火箭發(fā)射、海底勘探、災難監(jiān)測等抗沖擊能力強、溫度變化劇烈下的環(huán)境應用要求，因此需要解決VPX高級計算平臺的連接可靠性、環(huán)境適應性的難題；2）VPX高級計算平臺的多核CPU的AMP、SMP處理問題，平臺的處理板均采用多核處理器，而產品在應用中需要采用對稱多處理模式、非對稱多處理模式或者兩者結合的方式，這就要求對多核處理做深入研究，實現(xiàn)SMP和AMP方式，以滿足實際應用的需求；3）多CPU高速互聯(lián)總線協(xié)同處理問題，平臺需要支持PCI-E/SerialRapidIO/Ethernet互聯(lián)，需要能支持多塊處理板通過互聯(lián)總線實現(xiàn)多CPU處理，實現(xiàn)同步或異步的協(xié)同處理機制，在VPX智能平臺系統(tǒng)板上還需實現(xiàn)SerialRapidIO協(xié)議棧，解決SerialRapidIO互聯(lián)，多CPU啟動機制，多CPU配置等技術難題；4）高度靈活的XMC/PMC擴展問題，平臺的處理板需要支持XMC/PMC擴展，支持各種存儲板、DSP板、交換板等，因XMC走線多為差分信號，對信號質量提出了很高的要求，同時為了加強環(huán)境適應性，處理板均有三層鋁合金保護殼，布局布線均有諸多限制；5）智能平臺管理控制問題，平臺每塊單板包括一個單獨的處理模塊（VMC），用來實現(xiàn)IPMI功能對整個機箱進行管理，此模塊獨立于主處理模塊，實現(xiàn)溫度自動監(jiān)控，模塊上下電等功能，需要軟硬件協(xié)調配合才能實現(xiàn)實時的風扇監(jiān)控、溫度監(jiān)控、電壓監(jiān)控等功能；6）多層次數據總線設計問題，平臺支持四個層次的通道：采用全網拓撲結構的PCI-Express/Serial-RapidIO/10GEthernet的數據通道，采用雙星拓撲結構的千兆以太控制通道，基于I2C的IPMI冗余總線以及通用總線，它們之間的交互以及協(xié)同處理需要統(tǒng)一考慮。
　　基于VPX總線的高級計算平臺的架構[2]
　　本論文設計的基于VPX總線的高級計算平臺參照VPX系列協(xié)議VITA46、VITA48規(guī)范、VITA65標準來實現(xiàn)，其架構如圖1所示包括4類通道：通用通道，IPMI通道，數據通道和控制通道。
通用通道實現(xiàn)總線拓撲，其中包括了電源通道提供不同伏值的電源、復位通道、模塊地址配置等。IPMI通道實現(xiàn)冗余總線拓撲，實現(xiàn)兩條總線型的IPMI通道。發(fā)送方在兩個通道同時發(fā)送相同的數據，而接收方VMC接收進程實時監(jiān)聽通道的狀態(tài)，其正常工作時使用其中的一個通道，當出現(xiàn)延遲或者鏈路斷開時，VMC接收方自動切換到另一通道。數據通道提供在1-5槽實現(xiàn)全網狀拓撲設計，用于實現(xiàn)大數據量的高速傳輸，其每個槽位作為一個節(jié)點，與其他四個槽位分別實現(xiàn)4X全雙工通信?？刂仆ǖ劳ㄟ^第六槽交換槽實現(xiàn)雙星冗余拓撲，交互板作為中央交換單元，每個處理槽位有兩個千兆以太網通道同中央交換單元互聯(lián)，中央交換單元將每個通道連接到一個交換矩陣，實現(xiàn)雙星拓撲結構。

　　　　　　　　　　　　　　　　　圖1VPX高級計算平臺架構圖
　　VPX背板用來互聯(lián)各個處理模塊及后IO模塊，交換模塊，周邊模塊，存儲模塊，提供四種通路以及SATA等用戶可自定義的通道。背板還互聯(lián)電源模塊和其它模塊，除此之外，背板為IPMI管理還提供了一個存儲單元，用于存儲CHMC的SDR，SEL等信息。本論文設計的平臺背板為6U、6槽的VPX背板，其中5個Payload（負載）槽位，1個網絡控制交換槽。5個Payload槽的數據通道（J1）進行分布式互連，每個槽位有4路×4的差分信號（PCI-Express或者Serial-RapidIO），可分為A、B、C、D四個通道，分別與其它4個槽位的A、B、C、D四個通道進行互連，其連接方案如圖2所示。

　　　　　　　　　　　　　　　　　圖2背板數據通道互連框圖
　　基于VPX總線的高級計算平臺的具體設計[3]
本論文具體設計中主要介紹了基于FreescaleQorIQP40808核CPU并支持SerialRapidIO/PCI-Express交換的VPX高級計算平臺處理板，基于MPC8377和Broadcom方案的VPX高級計算平臺交換板，VPX智能平臺管理軟件等。
基于FreescaleQorIQP4080[4]的8核CPU的處理板
VPX高級計算平臺處理板是VPX系統(tǒng)的核心，它通過VPX背板和其他處理板或周邊板配合完成業(yè)務需求。比如它可以通過PCI-E互聯(lián)擴展網絡，存儲，顯示等周邊功能，也可以通過RapidIO互聯(lián)擴展DSP，F(xiàn)PGA等用于處理數字信號，圖像語音處理。除此之外，VPX處理板提供了兩個PMC/XMC擴展槽，可以用于擴展1553B等軍用總線。采用PowerPC最新的QorQ平臺，8核CPUP4080，同時支持PCI-Express和SerialRapidIO板內交換，如圖3所示。

　　　　　　　　　　　　　　　　　圖3基于FreescaleQorIQP4080的8核CPU的處理板
采用PowerPC最新的QorIQ平臺，8核CPUP4080，支持對稱多處理和非對稱多處理，并能實現(xiàn)一塊CPU支持多種操作系統(tǒng)，圖4為該處理板的多核方案：

　　　　　　　　　　　　　　　　　圖4多核CPU方案
　　在本論文VPX平臺上我們將同時支持Linux的SMP系統(tǒng)，VxWorks的SMP和AMP系統(tǒng)。實現(xiàn)一顆CPU多操作系統(tǒng)的配置，或某些單獨的核實現(xiàn)RAWCODE。
　　針對多CPU高速互聯(lián)總線協(xié)同處理問題：我們采用的解決方案是通過在處理板上增加PCI-Express和Serial-RapidIO交換，以PCI-Express交換提供周邊擴展，以Serial-RapidIO交換實現(xiàn)多CPU協(xié)同工作。提供啟動Flash，每個Flash中劃分8個區(qū)域，每個區(qū)域提供一個Bootloader和操作系統(tǒng)，并實現(xiàn)兩塊flash冗余，用以支持AMP的多核處理。系統(tǒng)啟動后，由第一槽（系統(tǒng)槽）首先啟動，其啟動代碼對Serial-RapidIO進行配置，配置轉發(fā)端口和路由策略，配置成功后啟動其他CPU的Bootloader，啟動其他CPU。
　　針對多核CPU的AMP、SMP處理問題：基于P4080的VPXSBC支持SMP和AMP模式。系統(tǒng)提供大容量的NORFlash并進行分區(qū)。高端地址用于存放啟動代碼，低端地址用于存放用戶數據。啟動代碼區(qū)被分為16個部分，為P4080中的每一個內核提供2個可選的啟動區(qū)域。為避免因Flash數據被破壞而無法啟動，系統(tǒng)提供了一個ROM存放啟動代碼，用于系統(tǒng)恢復。
　　基于MPC8377和Broadcom方案的交換板
　　VPX高級計算平臺的交換板主要是提供控制通道的以太網數據交換，我們在實現(xiàn)時采用單交換矩陣，共劃分為兩個VLAN，每個VLAN內包括處理板，周邊板的一路千兆以太網接口。提供二三層交換路由協(xié)議STP，RSTP，MSTP，RIP，OSPF，IGMP等，提供二三層協(xié)議處理和路由交換管理；對用戶提供CLI，WEB，SNMP的管理接口；提供IPMI的機架管理功能CHMC，對VPX平臺內的所有VMC的SDR，SEL，F(xiàn)RU，Sensor進行管理，同時提供對熱插拔的支持；支持OpenVPXSLT6-SWH-4F24T-10.4.4，使用MPC8377CPU和Broadcom交換芯片，支持單矩陣交換。

　　　　　　　　　　　　　　　　　圖5VPX高級計算平臺交換板框圖
　　VPX高級計算平臺的交換板實現(xiàn)框圖如圖5所示。數據層面采用Broadcom千兆交換芯片，提供L2表，路由表，組播表，ACL，VLAN等功能進行數據轉發(fā)，管理層面采用freescaleMPC8377處理器，運行各種協(xié)議，實現(xiàn)管理接口。
　　VPX高級計算平臺管理軟件
　　圖6為VPX系統(tǒng)管理軟件的架構[5]圖，根據功能從上往下依次可以劃分為：系統(tǒng)管理層、平臺管理層和系統(tǒng)驅動層。其中系統(tǒng)管理是上層管理軟件，向用戶提供一個系統(tǒng)管理接口；平臺管理則是VPX系統(tǒng)管理軟件設計的核心部分，位于VPX系統(tǒng)管理軟件架構的中間層，負責整個平臺管理，向上與SystemManager通信，向下與VMC控制器進行通信；系統(tǒng)驅動層包括操作系統(tǒng)移植和驅動程序。
　　圖中中間框起來的部分為平臺管理的核心部分，由一個MessageHandler和若干平臺管理功能模塊組成。根據所管理范圍的不同，我們將這些管理模塊分成ChassisManagement和BoardManagement兩部分，其中ChassisManagement包括SEL、PEF、FRUDiscover&Control、CoolingManagement以及PowerSupplyManagement；BoardManagement包括SDRManagement、FRUInfornationManagement、FRUStateManagement、SensorManagement（FRUHealthMonitor、ThresholdSensorPolling以及Self&PayloadTest）。平臺管理軟件在初始化的時候獲取SYS_CON*信號狀態(tài)（或者直接根據槽位號），如果為低則啟動ChassisManagement功能，否則僅啟動BoardManagement功能。
　　為了調試和管理的方便，本系統(tǒng)還設計了一個內嵌的CLI接口，該CLI接口通過CHMC的調試串口同用戶交互，可以用于本地實現(xiàn)一些簡單的查詢和操作命令，如SEL查詢及清理、SDR和FRU信息的查詢、Sensor列表及狀態(tài)的查詢、FRUControl操作等。

　　　　　　　　　　　　　　　　　圖6VPX系統(tǒng)管理軟件的架構圖
　　針對智能平臺管理控制，每塊單板包括一個單獨的處理模塊，用來實現(xiàn)IPMI功能對整個機箱進行管理，此模塊獨立于主處理模塊，實現(xiàn)溫度自動監(jiān)控，模塊上下電等功能，需要軟硬件協(xié)調配合實現(xiàn)。采用脈寬調制方法由IPMI控制風扇工作狀態(tài)，每個風扇各自配有故障告警信號和風速控制信號來進行風扇監(jiān)控。在交換控制板、背板和節(jié)點板上設置溫度傳感器，交換控制板通過IPMI接口對各發(fā)熱點進行檢測來進行溫度監(jiān)控。交換控制板和節(jié)點板上電壓種類較多，一旦電壓波動超出系統(tǒng)要求范圍，需要交換控制板CPU進行報警，由IPMI接口控制觸發(fā)電壓保護電路來進行電壓監(jiān)控保護。
　　總結
　　本設計平臺性能高、帶寬高、穩(wěn)定性好，抗干擾能力強，維護方便，適用于惡劣工作環(huán)境。本設計平臺產品已在不同環(huán)境下進行了長時間測試，運行穩(wěn)定可靠，各項技術指標良好。伴隨著信息與工業(yè)化不斷融合，計算機在各個領域的不斷深入，基于VPX總線的高級計算平臺必將在未來數字化社會里被廣泛應用。

　　[參考文獻]

　　1、張?zhí)炝?，張思敏，《CPCI-E與VPX總線標準的比較分析》，工業(yè)控制計算機，2009.7
（共3頁）
　　2、《AmericanNationalStandardforVPXBaselineStandard》，ANSI/VITA46.0-2007，2007.10（18-48）
　　3、《AmericanNationalStandardforEnvironments,DesignandConstruction,Safety,andQualityforPlug-InUnitsStandard》，ANSI/VITA47-2005（2007），2007.9（共21頁）
　　4、《P4080QorIQ™IntegratedMulticoreCommunicationProcessorFamilyReferenceManual》，F(xiàn)reescale，2010.4(1-48)
　　5、《IntelligentPlatformManagementInterfaceSpecificationv1.5》2002.2（40-68）