隨著信息時(shí)代的到來，世界發(fā)生了驚人的變化。最新的思科(Cisco)公司視覺網(wǎng)絡(luò)指數(shù)(VNI)顯示，人們對(duì)多信息源(流媒體)的需求迅速增長。思科估計(jì)，到2016年，互聯(lián)網(wǎng)協(xié)議(IP)數(shù)據(jù)傳輸流量的復(fù)合年增長率為29%。
 
所有這些需求都匯集到安放在大量低成本電源附近的服務(wù)器群。這種增長速度難倒了眾多的服務(wù)提供商(Google等信息提供商及將這些信息帶到電腦或手機(jī)的提供商)。人們需要更大的數(shù)據(jù)傳輸通道，而要滿足這種需求，卻面臨著眾多挑戰(zhàn)。

速度更快

自萬維網(wǎng)普及以來，對(duì)于速度的需求就一直困擾著通信行業(yè)。在1983年左右，隨著10Mb(同軸半雙工CSMA/CD)以太網(wǎng)的出現(xiàn)，計(jì)算機(jī)開始相互連接到一起。局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)的節(jié)點(diǎn)數(shù)增加到一定程度以后，骨干網(wǎng)聚合便成了問題。

光纖傳輸?shù)耐黄萍安ǚ謴?fù)用技術(shù)的實(shí)現(xiàn)大大提高了現(xiàn)代互聯(lián)網(wǎng)的傳輸速度。但是，大多數(shù)家庭接入互聯(lián)網(wǎng)使用的傳統(tǒng)雙絞線很快便達(dá)到了其香農(nóng)極限。撥號(hào)用調(diào)制解調(diào)器和DSL速度已達(dá)極限。盡管節(jié)點(diǎn)(用戶)數(shù)仍在持續(xù)穩(wěn)步增長，但信息傳輸容量需求的增長卻受到了限制。

當(dāng)人們開始應(yīng)用混合光纖/同軸系統(tǒng)以便通過數(shù)字機(jī)頂盒提供HDTV(高清電視)時(shí)，超大帶寬也達(dá)到了極限。有線電纜數(shù)據(jù)服務(wù)接口規(guī)范(DOCSIS)電纜調(diào)制解調(diào)器的發(fā)展，實(shí)現(xiàn)了每秒數(shù)兆位的傳輸速度，消費(fèi)者紛紛開始要求使用這種技術(shù)。

DOCSIS調(diào)制解調(diào)器和光纖到戶(FTTH)成為推動(dòng)互聯(lián)網(wǎng)不斷發(fā)展的催化劑。智能手機(jī)和長期演進(jìn)(LTE)無線網(wǎng)絡(luò)的出現(xiàn)再一次為消費(fèi)者拓展了帶寬，使他們不再受線纜的束縛。但是，智能手機(jī)供應(yīng)商忽略了一些基本的東西：消費(fèi)者將如何使用他們的上網(wǎng)手機(jī)。

供應(yīng)商簡單地認(rèn)為，人們偶爾會(huì)需要定位，查看聯(lián)系人電話號(hào)碼，或者執(zhí)行其他一些要求互聯(lián)網(wǎng)提供服務(wù)的小任務(wù)。當(dāng)人們開始使用手機(jī)在網(wǎng)上“沖浪”時(shí)，這些供應(yīng)商完全不知所措。他們的下行網(wǎng)絡(luò)完全超負(fù)荷運(yùn)行，因此，他們開始提供一些“套餐”，旨在限制數(shù)據(jù)服務(wù)消費(fèi)——至少現(xiàn)在是這樣一種情況。

在源頭解決所有問題

連接的節(jié)點(diǎn)越多，速度越快，需要的網(wǎng)絡(luò)容量和信息服務(wù)提供商運(yùn)營能力也就越高。這不斷推動(dòng)著對(duì)互聯(lián)速度需求的增長。有意思的是，大多數(shù)數(shù)據(jù)中心的IP數(shù)據(jù)傳輸(例如：亞馬遜和Google等)都在數(shù)據(jù)中心內(nèi)部的計(jì)算機(jī)之間完成，而并未通過網(wǎng)絡(luò)連接的客戶端之間。

在網(wǎng)購時(shí)，點(diǎn)擊“購買”按鈕之后，在兩臺(tái)服務(wù)器之間便開始進(jìn)行大量的事務(wù)處理，以驗(yàn)證用戶身份和支付方式，確認(rèn)距離最近的發(fā)貨倉庫，記錄所有資金交易情況，收集買家統(tǒng)計(jì)數(shù)據(jù)，以及執(zhí)行其他相關(guān)任務(wù)。完成所有這些事務(wù)所需的時(shí)間越長，消費(fèi)者等待訂單確認(rèn)的時(shí)間也就越長。

在線進(jìn)行股票交易、游戲、銀行轉(zhuǎn)賬和其他電子商務(wù)時(shí)原理相同。這種“多事務(wù)”數(shù)據(jù)傳輸和大量交易請(qǐng)求推動(dòng)局域網(wǎng)互聯(lián)速度從每通道10Gb/s提高至25Gb/s。

大多數(shù)現(xiàn)代數(shù)據(jù)中心都使用小型可插拔(SFP)或者四通道SFP(QSFP)連接來實(shí)現(xiàn)10Gb以太網(wǎng)。這些連接方法可以使用光纖或者特殊的高性能銅線，具體取決于要求的傳輸距離。但是，由于許多設(shè)備廠商為了增加相同空間的容量而不斷增加端口密度，出現(xiàn)了許多問題。

一個(gè)問題是，在設(shè)備冷卻系統(tǒng)的散熱口放置大量的光纖模塊，并且相互靠近。單個(gè)光纖模塊的功耗一般為1W。將這些模塊(例如一個(gè)48端口的10Gb/s交換機(jī))相互靠近放置，從設(shè)備排出的氣體溫度又很高，這會(huì)縮短光纖模塊的壽命并且存在安全隱患。

數(shù)據(jù)中心管理員將注意力轉(zhuǎn)向了無源線纜，這種線纜有望降低功耗和光纖模塊的成本。最近，連接距離小于15米的情況，開始使用集成了半導(dǎo)體線性均衡器和轉(zhuǎn)接驅(qū)動(dòng)器的“有源”線纜，以調(diào)節(jié)信號(hào)和提高信號(hào)完整性。有源線纜可以匹配較短的互聯(lián)，允許使用與光纖芯徑差不多大小的小規(guī)格標(biāo)準(zhǔn)線，而且功耗和成本都更低。

另外，這些管理員還可以使用具有多種功能的“智能線纜”，這些功能包括時(shí)域反射計(jì)(TDR)和眼圖監(jiān)視器等，可以持續(xù)管理連接的完整性。SFP和QSFP規(guī)范通過連接器上的一個(gè)兩引腳串聯(lián)管理端口實(shí)現(xiàn)這種通信。這種設(shè)備可以識(shí)別線纜類型及其性能，從而讓系統(tǒng)設(shè)計(jì)人員能夠?qū)⑦@些功能集成到管理系統(tǒng)中。
 得更遠(yuǎn)

有趣的是，標(biāo)準(zhǔn)一旦被制定出來，就會(huì)存在相當(dāng)長的時(shí)間。據(jù)傳，現(xiàn)代英國鐵路軌距可能直接源自羅馬帝國二輪戰(zhàn)車的輪距。這個(gè)問題無需再深入討論。影響數(shù)據(jù)中心的標(biāo)準(zhǔn)包括基礎(chǔ)設(shè)施內(nèi)的機(jī)架尺寸和間隔。典型機(jī)架為19英寸寬，42英寸長，7英尺高。這一標(biāo)準(zhǔn)已沿用了許多年。在某些行業(yè)，機(jī)架寬23英寸，目的是為了適用于電信交換機(jī)設(shè)備等應(yīng)用。即使CMOS尺寸縮小帶來了更高密度的集成，這些機(jī)架的體積也沒有相應(yīng)縮小。實(shí)際上，由于功耗和布線要求更高，它們的體積反而在不斷增加。最近，開放運(yùn)算項(xiàng)目針對(duì)一種被稱為“開放式機(jī)架”(21英寸寬)的新標(biāo)準(zhǔn)制定了一些計(jì)劃。不僅寬度增加，機(jī)架也變得更高。一些機(jī)架的高度甚至要達(dá)到9英尺，以最大化服務(wù)器密度。

隨著機(jī)架尺寸的增加，與設(shè)備內(nèi)部電子器件相關(guān)的連接器布局也要調(diào)整。同時(shí)，CMOS密度的增加，讓硅制造廠商可以將原來安裝在外部的物理層(PHY)器件集成到內(nèi)核交換ASIC并靠近連接器。這種情況會(huì)產(chǎn)生兩個(gè)結(jié)果：外部連接器和電子器件之間的距離增加；連接數(shù)據(jù)速率提高。這將對(duì)設(shè)計(jì)的信號(hào)完整性產(chǎn)生極大的影響。在許多情況下，它要求增加有源器件，對(duì)數(shù)據(jù)進(jìn)行恢復(fù)和重新計(jì)時(shí)，以達(dá)到連接器的規(guī)范(圖1)?，F(xiàn)在，10Gbps傳輸線路受到高抖動(dòng)問題的困擾，同時(shí)面臨最初四通道(x4)2.5Gbps版信號(hào)的衰減問題。
 

圖1：高速互連的發(fā)展。

對(duì)10Gbps以太網(wǎng)以及存儲(chǔ)和計(jì)算來說，這就成了問題。第3版PCI Express(PCIe)等標(biāo)準(zhǔn)將通道帶寬從500Mbps增加至1Gbps。通過更加高效的編碼，并將傳輸速率從5Gbps增加至8Gbps，便可以達(dá)到這個(gè)目標(biāo)。更高的傳輸速率會(huì)帶來相同傳輸距離連接器規(guī)范不達(dá)標(biāo)的問題，而在這一距離，使用FR4無源傳輸線時(shí)，PCIe 2.0卻可以工作得很好。在許多情況下，面臨的問題是使用更獨(dú)特的PCB材料，還是有源平衡器/轉(zhuǎn)接驅(qū)動(dòng)器，以電學(xué)方式縮短傳輸線路。這可沒有它看起來那么簡單，因?yàn)镻CIe標(biāo)準(zhǔn)使用帶外(OOB)信號(hào)傳輸，在根組件和PCIe節(jié)點(diǎn)之間建立起一個(gè)有效鏈路。半導(dǎo)體廠商一般會(huì)提供允許這種標(biāo)準(zhǔn)在更長距離工作的硅組件。PCIe 4.0規(guī)范使用16Gbps通道。在機(jī)架式服務(wù)器和設(shè)備尺寸不斷增大的情況下，要想達(dá)到這種標(biāo)準(zhǔn)實(shí)現(xiàn)通用性將變得越來越困難。

存儲(chǔ)接口標(biāo)準(zhǔn)也做了同樣的修訂。在企業(yè)存儲(chǔ)世界，標(biāo)準(zhǔn)是串行連接SCSI(SAS)，它是小型計(jì)算機(jī)系統(tǒng)接口(SCSI)的串行版本。SAS-2.0規(guī)范使用6Gbps通道，利用精密細(xì)致的FR4 PCB布局方法和高性能連接器可以讓它再次發(fā)揮作用。SAS-3.0使用12Gbps通道，并面臨與其它高速標(biāo)準(zhǔn)相同的信號(hào)完整性問題?，F(xiàn)在，使用連接器和線纜將某個(gè)驅(qū)動(dòng)器連接至系統(tǒng)使得這個(gè)問題變得錯(cuò)綜復(fù)雜。線纜廠商現(xiàn)在正推出一種新的高性能連接器(小型SAS HD)和介電材料，以應(yīng)對(duì)信號(hào)完整性降低問題。但是，要解決這個(gè)問題卻并不容易，因?yàn)橄到y(tǒng)中驅(qū)動(dòng)器可能會(huì)移動(dòng)到更遠(yuǎn)的地方，這就要求使用更長的連接器。
功耗原則

正如前文所述，功耗是運(yùn)營商和設(shè)備廠商共同關(guān)心的主要問題。即使用于設(shè)計(jì)高性能通信設(shè)備的大多數(shù)ASIC都是CMOS，但相比一些老型號(hào)產(chǎn)品，更新(更快)的設(shè)備實(shí)際功耗也更高。另外，有意思的是，盡管晶體管幾何尺寸不斷縮小并且越來越高效，但是電路設(shè)計(jì)人員卻利用這種小體積優(yōu)勢將更多的晶體管封裝到這些器件中。CMOS電路的功耗與時(shí)鐘頻率比例關(guān)系，因此，盡管每個(gè)晶體管的功效越來越高，但是它們的時(shí)鐘頻率卻比早期產(chǎn)品快了數(shù)倍。

這種發(fā)展趨勢仍將持續(xù)，并在一定程度上推動(dòng)機(jī)架空間變得越來越大，從而實(shí)現(xiàn)更好的空氣流動(dòng)和更優(yōu)的線纜管理。電線管理的改進(jìn)可讓設(shè)備的連接器具有更好的空間間隔，從而使其本身的互連不妨礙設(shè)備風(fēng)扇排出的氣流。但是，連接器密度遲早會(huì)擴(kuò)展到填滿所有有效空間的程度。

超越10Gb/s

在一些現(xiàn)代的數(shù)據(jù)中心，大多數(shù)互連均為銅纜或者光纖的10Gbps以太網(wǎng)。這些通道均為單(SFP+)通道或者分組四通道(QSFP)。不管是哪種情況，這些線纜都為全雙工。今天的一些標(biāo)準(zhǔn)傳輸速度都超過了10Gbps以太網(wǎng)。一種是光纖通道，現(xiàn)在的速度已經(jīng)達(dá)到16Gbps(另外還有20Gbps標(biāo)準(zhǔn))?；ヂ?lián)網(wǎng)協(xié)議(IP)等協(xié)議標(biāo)準(zhǔn)都可以映射FC數(shù)據(jù)包，并允許使用光纖和銅纜實(shí)現(xiàn)更高速的互連。

就以太網(wǎng)而言，使用多條10Gbps通道進(jìn)行數(shù)據(jù)傳輸可以實(shí)現(xiàn)更高的總帶寬，但要達(dá)到100Gbps，需要使用10條通道。100Gbps以太網(wǎng)光纖模塊利用一個(gè)超高速的10:4/4:10串行器/解串器(SerDes)將10通道的10Gbps數(shù)據(jù)轉(zhuǎn)換為4個(gè)25Gbps流。這4個(gè)數(shù)據(jù)流饋送給使用波分復(fù)用(WDM)方案配置的4條不同顏色的激光。SerDes較為昂貴并且功耗很高，而10條通道又會(huì)占用連接器空間。下一代產(chǎn)品將使用25Gbps，直接向光纖模塊傳送數(shù)據(jù)。這種方法無需使用SerDes，并且連接器占用空間非常小。

數(shù)據(jù)傳輸能耗指標(biāo)

過去，我們可以說某個(gè)系統(tǒng)以“X”bps的速度將一些比特從“A”點(diǎn)移至“B”點(diǎn)。但在服務(wù)器群有10,000臺(tái)服務(wù)器和千兆存儲(chǔ)以后，我們就不能這么說了。今天，設(shè)備按照其傳輸信息時(shí)的無誤差(BER>10-12)和高效程度來分級(jí)。因此引起了一場有關(guān)信息傳輸效率的競賽——誰的功耗最低，誰就是獲勝者。企業(yè)運(yùn)營商關(guān)心的是服務(wù)器性能和數(shù)據(jù)傳輸速度以及系統(tǒng)的能耗。設(shè)備運(yùn)行所需的所有能量以廢熱的形式存在，因此需要將這種廢熱排出去，而這個(gè)過程又會(huì)消耗更多的能量。
這種方式來看數(shù)據(jù)傳輸可能過于簡單，但是，不管是用于驅(qū)動(dòng)某條數(shù)據(jù)通道的集成電路，還是一個(gè)每秒數(shù)Gb的高性能交換機(jī)，任何解決方案的性能計(jì)算都應(yīng)包括功耗。這種衡量指標(biāo)很像以“納公頃/兩周”為單位表示的硅生產(chǎn)率。從大的方面看，它是對(duì)目標(biāo)本質(zhì)的簡化和概括。在系統(tǒng)周圍，使用最少的能源，以最快的速度，實(shí)現(xiàn)數(shù)據(jù)傳輸。

以下方程式表示了效率分類指標(biāo)
 
 

其中，P為功率(瓦特)，REF為無誤差通道速率(比特/秒)，D為距離(米)。它可以簡化為焦耳每比特米(J/b?m)，也就是1秒無誤差時(shí)將1比特?cái)?shù)據(jù)傳輸1米所需要的功耗，或者無誤差條件下，1比特?cái)?shù)據(jù)移動(dòng)1米所消耗的能量。它對(duì)各種媒介和編碼進(jìn)行了標(biāo)準(zhǔn)化，并允許使用并排比較技術(shù)。

100+ Gbps挑戰(zhàn)

由于我們已經(jīng)介紹過一種比較各種通信技術(shù)的方法，我們將直接討論數(shù)據(jù)速率超過100Gbps以后的相關(guān)問題。100Gbps數(shù)據(jù)傳輸媒介有兩種可供選擇：光纖和銅線。后一種受限于集膚效應(yīng)和介電損耗，近遠(yuǎn)端串?dāng)_以及許多其他影響比特誤碼率的現(xiàn)象。光纖傳輸過于復(fù)雜，并且要求大量功耗，用于將數(shù)條電信號(hào)轉(zhuǎn)換為通過光纖傳輸?shù)囊粋€(gè)或者多個(gè)經(jīng)過調(diào)制的激光束，然后再由激光束轉(zhuǎn)換回電信號(hào)(圖2)。
 

圖2：100Gbps CFP光纖模塊與QSFP有源線纜對(duì)比。

半導(dǎo)體行業(yè)的主要進(jìn)展是硅工藝，此外構(gòu)架方面也獲得了一定程度的改進(jìn)。一些供應(yīng)商(例如TI)開始使用新的超高性能硅鍺工藝實(shí)現(xiàn)超低功耗和高成本效益。使用SiGe時(shí)，相比CMOS實(shí)現(xiàn)方法，驅(qū)動(dòng)器中的發(fā)射振幅更高，因而擁有更高的信號(hào)完整性。這些工藝結(jié)合了新的時(shí)鐘恢復(fù)和前饋均衡技術(shù)，可以輕松達(dá)到每通道25+ Gbps。下一代設(shè)備有望擁有這一數(shù)據(jù)速率，并計(jì)劃于2013底上市銷售。

對(duì)比現(xiàn)有100Gbps通道的傳輸效率，驅(qū)動(dòng)遠(yuǎn)距離傳輸時(shí)光纖模塊擁有明顯優(yōu)勢。但是，當(dāng)涉及企業(yè)內(nèi)部10米以下的數(shù)據(jù)傳輸時(shí)，現(xiàn)在所使用的銅纜再次閃耀出它的光芒。1米標(biāo)準(zhǔn)時(shí)，光纖無誤差傳輸1比特的能耗大概為80微微焦耳(使用100Gbps CFP，每端的功耗為4W)，而銅纜傳輸1比特的能耗僅為20微微焦耳(使用100 Gbps QSFP，線纜每端的功耗為600mW)。以25Gbps運(yùn)行的4條原生通道，使用設(shè)備對(duì)設(shè)備(box-to-box)配置時(shí)，能耗更低。令人吃驚的是，企業(yè)環(huán)境的大多數(shù)互連距離都小于1米。

超越100Gb/s

通過基板和線纜傳輸串行化比特的傳統(tǒng)方法大多包含非歸零(NRZ)二進(jìn)制編碼和誤差編碼(例如8b/10b)。但是，使用可變長度CAT5/6 UTP線纜的以太網(wǎng)標(biāo)準(zhǔn)(例如1Gbase-T)除外。這種標(biāo)準(zhǔn)的復(fù)雜度要求極高，原因是所用導(dǎo)線的帶寬有限(<350MHz)，并且通道損耗存在不確定性。為了彌補(bǔ)這些不足，標(biāo)準(zhǔn)采用了多層符號(hào)編碼、位交錯(cuò)、前向糾錯(cuò)、回波消除和大量的其他技術(shù)，并與動(dòng)態(tài)鏈路訓(xùn)練結(jié)合，以建立最快的無誤差連接。所有這些導(dǎo)致其功耗高于NRZ版本，但在這些情況下，也很難找出一種更好的替代方法。

如果行業(yè)把銅線的數(shù)據(jù)連接速度推高至25Gbps以上，那么問題是，雙層(二進(jìn)制)NRZ編碼還會(huì)存在嗎？即使現(xiàn)在，還有人會(huì)說應(yīng)該放開對(duì)25Gbps數(shù)據(jù)速率的限制。Intel公司建議在企業(yè)內(nèi)部和基層之間也都使用多層編碼。由于符號(hào)編碼比特密度更高，這樣可以實(shí)現(xiàn)高數(shù)據(jù)速率，但是能耗也肯定會(huì)增高。在今天的市場上，Broadcom和其他公司提供的10Gbase-T解決方案復(fù)雜程度也有不斷增加的趨勢。正如其以前的一些產(chǎn)品，這些器件利用多層信號(hào)傳輸，通過符號(hào)編碼增加比特密度。利用多條通道(一條CAT7線纜4對(duì))，該標(biāo)準(zhǔn)可支持約500MHz有限通道帶寬的情況下10Gbps數(shù)據(jù)傳輸速率。那么，隨著這個(gè)行業(yè)向40Gbps通道發(fā)展，多層方案會(huì)代替二進(jìn)制編碼嗎？可能會(huì)，但是二進(jìn)制NRZ成熟易懂。市場上有大量的NRZ誤碼率測試儀及完善的基礎(chǔ)設(shè)施。另外，還有發(fā)射器和接收器復(fù)雜性問題。即使CMOS幾何尺寸減小至40nm標(biāo)準(zhǔn)以下，功耗和成本都是需要解決的問題。

本文小結(jié)

考慮到未來4年市場所需要的器件絕對(duì)數(shù)量，思科VNI的預(yù)測數(shù)據(jù)相當(dāng)令人激動(dòng)。同時(shí)，它也為有線和無線基礎(chǔ)設(shè)施供應(yīng)商以及提供媒體和信息的數(shù)據(jù)服務(wù)器帶來了一些問題。所有這些共同推動(dòng)了企業(yè)和基礎(chǔ)設(shè)施使用更高的互連速度。25Gbps可能會(huì)馬上到來，然后迅速向40Gbps進(jìn)發(fā)，并會(huì)使用先進(jìn)的NRZ或者多層技術(shù)，確保實(shí)現(xiàn)無誤差數(shù)據(jù)通信。但是，當(dāng)行業(yè)把連接速度從100Gbps再次推高至250Gbps甚至更高時(shí)，又會(huì)出現(xiàn)哪些標(biāo)準(zhǔn)，并在激烈的市場競爭中勝出呢？