數(shù)據(jù)是人類活動(dòng)的基礎(chǔ)，數(shù)據(jù)隨著人類的發(fā)展，產(chǎn)生了爆炸式的增長(zhǎng)，數(shù)據(jù)的管理和傳遞越來(lái)越成為人類活動(dòng)的基礎(chǔ)。海量的數(shù)據(jù)產(chǎn)生后，相應(yīng)的提出了數(shù)據(jù)的安全、數(shù)據(jù)的集中管理、數(shù)據(jù)的可靠性傳送、數(shù)據(jù)的快速處理等需求，數(shù)據(jù)中心就是為了解決和滿足這些需求應(yīng)用而生。為了支持和滿足新形勢(shì)下的數(shù)據(jù)中心建設(shè)要求，位于核心位置的交換機(jī)系統(tǒng)成為關(guān)鍵的設(shè)備。
以太網(wǎng)經(jīng)過(guò)近30年的發(fā)展，帶寬從10M開(kāi)始，分別經(jīng)歷了100M、1000M、10G、40G、100G的發(fā)展階段，現(xiàn)階段10GE的以太網(wǎng)已經(jīng)批量的應(yīng)用，40GE和100GE的以太網(wǎng)開(kāi)始逐步應(yīng)用。因此，這也對(duì)承載以太網(wǎng)帶寬發(fā)展的核心交換機(jī)提出了要求。
數(shù)據(jù)中心網(wǎng)絡(luò)和以太網(wǎng)標(biāo)準(zhǔn)的發(fā)展，都對(duì)新一代核心交換機(jī)提出了更高的要求。什么樣的系統(tǒng)架構(gòu)才能更好的支持?jǐn)?shù)據(jù)中心網(wǎng)絡(luò)建設(shè)的發(fā)展?才能更有效的支撐以太網(wǎng)標(biāo)準(zhǔn)的演進(jìn)?本文就是帶著這個(gè)問(wèn)題，深刻解析了交換機(jī)架構(gòu)近十幾年來(lái)的發(fā)展，從硬件架構(gòu)、高速鏈路、整機(jī)系統(tǒng)、端口密度等多個(gè)角度、多個(gè)領(lǐng)域進(jìn)行分析，展現(xiàn)給大家一個(gè)核心交換機(jī)不同階段的發(fā)展歷程，從而說(shuō)明新一代核心交換機(jī)的體系架構(gòu)應(yīng)具有的核心要素。
核心交換機(jī)硬件架構(gòu)的發(fā)展
核心交換機(jī)的發(fā)展經(jīng)歷了下面幾個(gè)階段，從最初提供FE匯聚和GE上行接口，到后來(lái)的GE匯聚和10GE上行，目前已經(jīng)演進(jìn)到10GE/40GE匯聚，100GE上行階段。不同的演進(jìn)階段對(duì)核心交換機(jī)的硬件架構(gòu)要求是不一樣的。
2000年～2006年，階段一，高密FE/GE接入?yún)R聚，少量10GE上行
這個(gè)階段的核心交換機(jī)以中心交換加LSW為主構(gòu)成，中心交換主要是以太交換芯片為主，線卡單板以FE/GE和少量10GE的LSW作為接口芯片，背板鏈路以1.25G～6.25Gbps為主，線卡提供48GE線速轉(zhuǎn)發(fā)，業(yè)務(wù)處理基本以二層和三層為主，QoS處理主要以簡(jiǎn)單的優(yōu)先級(jí)隊(duì)列調(diào)度為主。典型的產(chǎn)品有CISCO 4500/6500、H3C 6500/7500等。
▲圖1：階段一的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了FE/GE接入和少量10GE上行的場(chǎng)景，在數(shù)據(jù)中心領(lǐng)域以GE服務(wù)器為主的場(chǎng)景下，可以滿足少量服務(wù)器組成的小型數(shù)據(jù)中心網(wǎng)絡(luò)。
2006年～2012年，階段二，高密GE/10GE接入?yún)R聚，少量10GE/40GE上行
在這個(gè)階段，中心交換的形態(tài)很多，有的是共享緩存的簡(jiǎn)單交換網(wǎng)，有的是集中仲裁的交換網(wǎng)，還有以6.25G為主的CLOS交換架構(gòu)。線卡單板以GE和10GE的LSW作為接口芯片，少量40GE上行接口為主。背板鏈路以5G～10Gbps為主，每線卡槽位的帶寬小于480G，目前最大能力16～48*10GE線速轉(zhuǎn)發(fā)，業(yè)務(wù)處理基本以二層和三層為主，具有簡(jiǎn)單的HQoS調(diào)度，緩存范圍很廣，依賴于LSW芯片，有的交換機(jī)是2ms/端口，有的是10ms/端口。典型的產(chǎn)品有CISCO N7000、H3C 10500/12500等。
▲圖2：階段二的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了GE接入和10GE上行的場(chǎng)景，在數(shù)據(jù)中心領(lǐng)域以GE服務(wù)器為主的場(chǎng)景下，可以滿足GE服務(wù)器組成的中、小型數(shù)據(jù)中心網(wǎng)絡(luò)。
2012年～2020年，階段三，高密10GE/40GE接入?yún)R聚，少量100GE上行
這個(gè)階段的核心交換機(jī)以CLOS動(dòng)態(tài)路由交換為主，線卡單板以具有復(fù)雜業(yè)務(wù)處理能力的PP芯片為主，提供高密度的10GE/40GE線速轉(zhuǎn)發(fā)和業(yè)務(wù)處理，少量100GE上行接口為主。背板鏈路以10G起步，未來(lái)可演進(jìn)到25Gbps，每線卡槽位的帶寬是1T～4T為主，目前最大能力48～96*10GE線速轉(zhuǎn)發(fā)，或者24*40GE線速轉(zhuǎn)發(fā)，具有完善的QoS處理能力，能支持比較大的緩存，可以達(dá)到100ms/端口。典型的產(chǎn)品有華為即將推出的CE12800。
▲圖3：階段三的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了高密度10GE/40GE接入的場(chǎng)景，按照服務(wù)器的發(fā)展演進(jìn)，從2012年開(kāi)始將主要以10GE服務(wù)器為主，在2015年逐漸出現(xiàn)40GE服務(wù)器，因此這個(gè)階段的數(shù)據(jù)中心核心交換機(jī)必須能提供高密度10GE/40GE接口，滿足10GE/40GE服務(wù)器組成的大、中型數(shù)據(jù)中心網(wǎng)絡(luò)。
華為CE12800作為新一代核心交換機(jī)產(chǎn)品，具備了高密度10GE/40GE、帶寬1T~4T、完善的QoS處理和每端口至少100ms的大緩存能力，是新一代交換機(jī)的旗艦產(chǎn)品。通過(guò)上述三個(gè)階段的分析，我們可以得出不同階段的核心交換機(jī)的產(chǎn)品競(jìng)爭(zhēng)力屬性：
核心交換機(jī)端到端高速鏈路的發(fā)展
我們知道在核心交換機(jī)中，最重要的屬性是高密度、高帶寬，而支撐高密度和高帶寬屬性的是系統(tǒng)內(nèi)的高速鏈路，簡(jiǎn)單的說(shuō)如果我們核心交換機(jī)的背板是10G的鏈路，那我們的單板就可以支持48*10GE線速;如果是25G的鏈路，那我們的單板未來(lái)就可以支持48*100GE線速。因此，核心交換機(jī)怎樣才能支持更高速的鏈路，是核心交換機(jī)長(zhǎng)期演進(jìn)面臨的重要課題。下圖展示了一個(gè)典型的核心交換機(jī)系統(tǒng)中，端到端高速鏈路由哪些部分組成。
▲圖4：核心交換機(jī)端到端高速鏈路組成示意圖
我們從圖中可以很顯然的看到，高速鏈路從一個(gè)芯片的一個(gè)管腳輸出后，經(jīng)過(guò)線卡PCB、背板連接器、背板PCB、背板連接器、線卡PCB輸入到芯片輸入端，在中間傳輸過(guò)程中，為了更好的提升高速鏈路的性能，特別需要做好兩件事，一是盡量降低到端到鏈路的長(zhǎng)度，二是盡量降低中間連接器的串?dāng)_。
1) 降低端到端的走線長(zhǎng)度
為什么要降低端到端走線長(zhǎng)度，下圖很好的解釋了這個(gè)原因。
▲圖5：核心交換機(jī)端到端高速鏈路插損描述
上圖中X是信號(hào)的通道損耗(db)，Y是信號(hào)的誤碼率。上圖綜合描述了通道損耗(IL)對(duì)誤碼率(BER)的影響，在板材、層疊等相同的情況下，高速通道的損耗主要由走線長(zhǎng)度決定，可以看到在相同誤碼率條件下通道越短就可以支持更高的信號(hào)速率，而在信號(hào)速率確定的情況下通道越短，就可以獲得更加理想的誤碼率。
因此如何降低高速通道的走線長(zhǎng)度是核心交換機(jī)演進(jìn)能力的重要體現(xiàn)。我們分析核心交換機(jī)的架構(gòu)，可以看到走線長(zhǎng)度是由線卡走線+背板走線組成，如果把背板的走線降低為0，就可以大大縮短端到端的鏈路走線，這就是下圖新一代核心交換機(jī)采用的正交架構(gòu)，背板上的高速鏈路走線為0。
▲圖6：核心交換機(jī)正交架構(gòu)
核心交換機(jī)的線卡和交換網(wǎng)板，直接通過(guò)正交連接器對(duì)插，省掉了中間背板的走線連接，因此端到端的走線控制在最短，高速通道的阻抗一致性更好，能夠保證在更高的帶寬下通道的平順性，以支持系統(tǒng)實(shí)現(xiàn)更高速率演進(jìn)的能力。
2) 提升高速連接器的性能
前面的分析我們也看到，除了降低走線長(zhǎng)度，提升高速鏈路性能的另外一個(gè)重要環(huán)節(jié)是背板的高速連接器，高速連接器的串?dāng)_對(duì)性能影響最大，10G~25G鏈路，最好的連接器串?dāng)_小于35dB。
對(duì)于高速連接器來(lái)說(shuō)，串?dāng)_的屬性很大程度上受連接器Wafer之間的距離影響，而目前業(yè)界主流的連接器，Wafer距離一般都處于2mm左右，并不能很好的滿足高速連接器串?dāng)_的要求，新一代核心交換機(jī)要支持更高的速率，必須采用新一代的高速連接器。上一代的連接器是無(wú)法滿足核心交換機(jī)長(zhǎng)期的演進(jìn)發(fā)展的，目前業(yè)界主流的核心交換機(jī)都是基于上一代的高速連接器設(shè)計(jì)，高速鏈路的性能基本上到10G已經(jīng)到了極限，不再可能升級(jí)到更高速率，也就不具備未來(lái)支持48*40GE/100GE的能力。
華為CE12800核心交換機(jī)作為新一代的核心交換機(jī)，采用了高性能的正交體系架構(gòu)，與業(yè)界主流的連接器廠家合作開(kāi)發(fā)了2.7mm的新一代正交高速連接器，能支持從10G向25G的演進(jìn)，很好的滿足了未來(lái)4T的槽位帶寬演進(jìn)需求。
核心交換機(jī)整機(jī)散熱系統(tǒng)的演進(jìn)
核心交換機(jī)的整機(jī)散熱發(fā)展也經(jīng)歷了傳統(tǒng)的橫向風(fēng)道設(shè)計(jì)、前后進(jìn)風(fēng)的風(fēng)道設(shè)計(jì)，現(xiàn)在正在向嚴(yán)格的前后風(fēng)道設(shè)計(jì)方向發(fā)展。在原來(lái)以FE/GE、非線速10GE為主的系統(tǒng)中，單板功率小，散熱要求不高，橫向風(fēng)道或者非嚴(yán)格的前后風(fēng)道都是可以滿足要求的;在后續(xù)以高密度線速10GE/40GE為主的核心交換機(jī)系統(tǒng)中，單板功率增加，嚴(yán)格的前后散熱風(fēng)道成為必須滿足的架構(gòu)要素。
為什么在數(shù)據(jù)中心領(lǐng)域，一定是前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道最能滿足要求，下圖詳細(xì)描述了數(shù)據(jù)中心機(jī)房建設(shè)的風(fēng)道設(shè)計(jì)和要求，相應(yīng)的核心交換機(jī)要能滿足這個(gè)嚴(yán)格的前進(jìn)風(fēng)后出風(fēng)的散熱風(fēng)道。
▲圖7：數(shù)據(jù)中心機(jī)房冷熱風(fēng)道嚴(yán)格的隔離散熱
在數(shù)據(jù)中心建設(shè)中，節(jié)能減排是最重要的屬性，為了提升設(shè)備的散熱效率，降低對(duì)機(jī)房的能耗要求，因此采用嚴(yán)格的冷熱風(fēng)道隔離，一排機(jī)柜是前面集中送冷風(fēng)進(jìn)來(lái)，通過(guò)設(shè)備的散熱交換，機(jī)柜后面集中回收熱風(fēng)，因此要求核心交換機(jī)必須是前進(jìn)風(fēng)后出風(fēng)，才能很好的滿足數(shù)據(jù)中心機(jī)房建設(shè)的要求。
1) 傳統(tǒng)的橫向散熱風(fēng)道
傳統(tǒng)的核心交換機(jī)通常以左右橫向風(fēng)道作為整機(jī)系統(tǒng)，這類交換機(jī)在機(jī)柜中應(yīng)用時(shí)，由于是橫向風(fēng)道，熱風(fēng)會(huì)在機(jī)柜中回流，導(dǎo)致散熱不夠充分，無(wú)法滿足大功率單板的散熱，因此這類交換機(jī)通常支持300W以下的單板散熱能力，下圖是這類交換機(jī)的散熱風(fēng)道。
▲圖8：傳統(tǒng)橫向風(fēng)道的核心交換機(jī)散熱
可以看到橫向風(fēng)道的交換機(jī)安裝在機(jī)柜內(nèi)時(shí)，由于風(fēng)道是從左到右或者從右到左，機(jī)柜兩側(cè)的側(cè)壁是密封的，當(dāng)熱風(fēng)碰到機(jī)柜側(cè)壁時(shí)，熱風(fēng)會(huì)沿著機(jī)柜側(cè)壁和交換機(jī)的上、下空間回流到進(jìn)風(fēng)口，導(dǎo)致進(jìn)風(fēng)口的溫度至少會(huì)升高15°C以上，長(zhǎng)期運(yùn)行會(huì)影響系統(tǒng)的可靠性和單板的散熱能力，也無(wú)法支持大功率、高密度的10GE/40GE單板。
這也是為什么數(shù)據(jù)中心機(jī)房建設(shè)一直在強(qiáng)調(diào)的要區(qū)分嚴(yán)格的冷熱風(fēng)道的原因，要嚴(yán)格的把進(jìn)風(fēng)口和出風(fēng)口隔離，避免熱風(fēng)和冷風(fēng)混合，導(dǎo)致進(jìn)風(fēng)口溫度提升，帶來(lái)散熱和功耗上升的弊端。所以傳統(tǒng)的橫向風(fēng)道的交換機(jī)是無(wú)法滿足數(shù)據(jù)中心建設(shè)的需求的，嚴(yán)格來(lái)講，這類交換機(jī)在園區(qū)網(wǎng)領(lǐng)域應(yīng)用時(shí)也會(huì)有問(wèn)題，無(wú)法支持更大功率的單板。
這類設(shè)備的典型代表是H3C S10500/9500E/7500E，CISCO N7018/7009等。
2) 改進(jìn)型的前、后進(jìn)風(fēng)，后出風(fēng)的散熱風(fēng)道
為了滿足數(shù)據(jù)中心冷熱風(fēng)道嚴(yán)格區(qū)分，部分廠家對(duì)核心交換機(jī)進(jìn)行了整機(jī)系統(tǒng)的改進(jìn)，其中比較典型的是前后進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道，如下圖。
▲圖9：改進(jìn)型的前后進(jìn)風(fēng)的核心交換機(jī)散熱
可以看到改進(jìn)型的核心交換機(jī)相比傳統(tǒng)的橫向風(fēng)道的交換機(jī)，在整機(jī)系統(tǒng)上做了一些改進(jìn)，冷風(fēng)也可以從設(shè)備前面進(jìn)風(fēng)，從設(shè)備后面出熱風(fēng)，但這種改進(jìn)在數(shù)據(jù)中心應(yīng)用時(shí)，還是滿足不了要求，因?yàn)楦倪M(jìn)型的設(shè)備后面部分的單板還需要從設(shè)備的后面進(jìn)風(fēng)散熱，我們知道數(shù)據(jù)中心風(fēng)道是冷熱嚴(yán)格區(qū)分的，這樣就又會(huì)像傳統(tǒng)橫向風(fēng)道的交換機(jī)一樣，帶來(lái)冷熱風(fēng)道混合的問(wèn)題，無(wú)法滿足高密度單板的應(yīng)用。
3) 嚴(yán)格前后風(fēng)道隔離，高效的前進(jìn)后出直通風(fēng)風(fēng)道
從前面核心交換機(jī)的整機(jī)系統(tǒng)分析來(lái)看，無(wú)論是橫向風(fēng)道還是改進(jìn)型的前后風(fēng)道，都不能很好的滿足數(shù)據(jù)中心冷熱風(fēng)道嚴(yán)格隔離的要求，因此新一代核心交換機(jī)采用了冷熱風(fēng)道嚴(yán)格隔離，前進(jìn)風(fēng)、后出風(fēng)的直通風(fēng)散熱風(fēng)道，大大提升了核心交換機(jī)的散熱能力，可以滿足每槽位1000W的散熱能力，為后續(xù)提供48*40GE/100GE的高密度、大帶寬的單板提供了基礎(chǔ)。下圖是新一代核心交換機(jī)的整機(jī)系統(tǒng)風(fēng)道。
▲圖10：嚴(yán)格的前進(jìn)風(fēng)后出風(fēng)的核心交換機(jī)散熱
嚴(yán)格的冷熱風(fēng)道隔離的核心交換機(jī)非常好的匹配數(shù)據(jù)中心機(jī)房需求，滿足了前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道，同時(shí)采用直通風(fēng)的方式，不經(jīng)過(guò)中間任何形式的阻擋，降低了系統(tǒng)的風(fēng)阻，提升了系統(tǒng)的散熱效率，實(shí)際測(cè)量顯示，直通風(fēng)的散熱風(fēng)道能提升30%的散熱效率。
華為CE12800作為新一代核心交換機(jī)，采用嚴(yán)格的前進(jìn)風(fēng)、后出風(fēng)的直通風(fēng)散熱風(fēng)道，大大提升了系統(tǒng)的散熱效率，每槽位的散熱能力達(dá)到1000W，滿足未來(lái)高密度40GE/100GE單板的散熱要求。同時(shí)，由于高效的散熱效率，使得華為的CE12800系統(tǒng)可以長(zhǎng)期工作在高溫45度的環(huán)境下，如果數(shù)據(jù)中心機(jī)房工作溫度提升到45度，整個(gè)機(jī)房可以節(jié)省2/3的能耗。
核心交換機(jī)端口速率和密度的演進(jìn)
核心交換機(jī)依托于以太網(wǎng)標(biāo)準(zhǔn)的發(fā)展而發(fā)展，以太網(wǎng)的端口速率從10M開(kāi)始，每隔幾年會(huì)向上發(fā)展一個(gè)臺(tái)階，目前最新的是已經(jīng)標(biāo)準(zhǔn)化的100GE端口，因此新一代的核心交換機(jī)必須能支持高密度的40GE和100GE接口。
▲圖11：以太網(wǎng)標(biāo)準(zhǔn)的發(fā)展歷程
新一代核心交換機(jī)除了能支持FE、GE和10GE接口外，還要能支持40GE和100GE接口，同時(shí)在端口密度上要能支持24和48等。也就是說(shuō)，新一代核心交換機(jī)要能支持24*40GE、48*40GE、24*100GE等端口的線速轉(zhuǎn)發(fā)能力。
華為CE12800是面向高密度100GE接口能力的核心交換機(jī)，當(dāng)前第一個(gè)版本就支持24*40GE的線卡，是業(yè)界主流友商的4倍。由于采用了先進(jìn)的體系架構(gòu)，具備向25G演進(jìn)的能力，產(chǎn)品后續(xù)可以提供48*40GE、24*100GE、48*100GE的能力。
華為CE12800，重新定義了新一代核心交換機(jī)華為CE12800是面向新一代10GE/40GE服務(wù)器組成的數(shù)據(jù)中心網(wǎng)絡(luò)，是建設(shè)超大型和大型數(shù)據(jù)中心網(wǎng)絡(luò)的核心設(shè)備，提供1T～4T的帶寬能力，采用了嚴(yán)格的前后散熱風(fēng)道，具備1000W的槽位散熱能力，具有100ms的大緩存能力和完善的QoS，是面向未來(lái)10年的核心交換機(jī)產(chǎn)品，它的出現(xiàn)重新定義了核心交換機(jī)的競(jìng)爭(zhēng)屬性，能滿足云計(jì)算網(wǎng)絡(luò)建設(shè)的需求。