日本運營商DoCoMo的一次割接替換,給該國整個網(wǎng)絡造成了大面積的故障。引起了大量用戶的強烈不滿,甚至于日本總務大臣不得不出來進行處理和解釋。
據(jù)悉,這次本來是一次簡單的升級替換,替換的設備是:存儲物聯(lián)網(wǎng)終端設備的用戶/位置信息的服務器,大約有20萬臺物聯(lián)網(wǎng)終端的位置信息從舊設備遷移到新設備的過程中,出現(xiàn)了問題。
于是操作人員啟動了回退操作,重新倒回到舊設備。這一回退,恰好就是問題的關鍵:回退引發(fā)了大量物聯(lián)網(wǎng)終端向舊服務器重新發(fā)起位置注冊信息,一股洶涌而來的“信令風暴”快速引發(fā)了網(wǎng)絡擁塞,直接把3/4/5G的核心網(wǎng)給擠“癱瘓”了。
讓人難以理解的是,這一頓“升級-割接-回退”的操作,發(fā)生在工作日下午即將下班的晚高峰。(漲姿勢了,島國割接居然不要求在夜間?)
2021年10月14日下午5點左右開始,發(fā)生了導致DoCoMo語音通話和數(shù)據(jù)通信服務難以使用的網(wǎng)絡事故。
2021年10月14日下午7點57分,該運營商采取了緊急網(wǎng)絡操作,故障開始逐漸恢復,但由于網(wǎng)絡擁塞,仍然有一些客戶無法連接網(wǎng)絡。
2021年10月15日凌晨5點05分,5G和4G網(wǎng)絡恢復正常,但部分區(qū)域的3G網(wǎng)絡仍然難以使用,正在努力恢復中,并告知廣大用戶,已訂閱4G套餐并顯示3G信號的用戶,可以通過重啟手機的方式來連接4G網(wǎng)絡,以獲得正常通信。
2021年10月15日下午,NTT DoCoMo副社長在新聞發(fā)布會上表示,3G網(wǎng)絡恢復“無法給出明確的時間”,并解釋說前景不明朗。
NTT DoCoMo管理層公開道歉,對于此次事故給客戶和很多人帶來了不便,深表歉意,并表示將努力防止事故再次發(fā)生。
嗯,在島國,沒有什么問題是鞠一躬解決不了的,如果有,就3個人一起鞠!
事故發(fā)生后,日本總務大臣在內(nèi)閣會議后的記者招待會上表示:
作為關系人們?nèi)粘I畹闹匾A設施,移動網(wǎng)絡發(fā)生了大規(guī)模故障,令人遺憾??倓帐Υ耸路浅V匾暎岩驨TT DoCoMo及時調(diào)查和報告事故原因和影響程度,以向廣大用戶做出充分的解釋。希望NTT DoCoMo能履行好社會責任,并采取一切可能的措施防止類似事故再次發(fā)生。
罰酒三杯,處理完畢!
啟示錄:
雖然此事發(fā)生在對面島國,但我們?nèi)匀恍枰獜闹形〗逃?。如今的移動網(wǎng)絡如同水電氣一樣的基礎設施,特別是5G時代,應用到工業(yè)互聯(lián)網(wǎng)、煤礦、醫(yī)院等,網(wǎng)絡絕無小事。
1、升級割接絕不可能在忙時進行。
這在我國幾乎不可能,都是在深夜完成,這已經(jīng)成了通信這20年來的鐵律。感謝我們的“通信夜行者”辛勤的付出。
2、網(wǎng)絡充分的冗余和備份機制。
網(wǎng)絡的狀況永遠不可預料,要保障網(wǎng)絡不出問題,最可靠的方式就是冗余和備份機制,從AB面,到集群Pool,全面保障在核心網(wǎng)、傳輸網(wǎng)和接入網(wǎng)的冗余機制。這勢必會增加投資,但是一個品質(zhì)網(wǎng)絡的必需。
3、核心網(wǎng)是重中之重。
其它故障一般影響到局部,而核心網(wǎng)則影響全局。除了做好冗余和備份,更應該盡快升級網(wǎng)絡架構(gòu)。5G SA的核心網(wǎng)SBA架構(gòu),能在盡可能節(jié)省投資的情況下保障網(wǎng)絡的安全運行。