事件回顧：加拿大Rogers大規(guī)模斷網(wǎng)

　　當(dāng)?shù)貢r(shí)間2021年4月18日，加拿大第一大移動(dòng)通信網(wǎng)絡(luò)運(yùn)營商Rogers Wireless及旗下Fido Solutions發(fā)生超大規(guī)模斷網(wǎng)，造成嚴(yán)重的社會(huì)影響。此次大規(guī)模斷網(wǎng)事件波及加拿大全國范圍及近千萬用戶、持續(xù)時(shí)間長、造成影響大，對Rogers帶了巨大的直接經(jīng)濟(jì)損失和間接品牌損失，對加拿大經(jīng)濟(jì)產(chǎn)生了重大負(fù)面影響。這也是5G網(wǎng)絡(luò)有史以來最大的事故。 此次事件產(chǎn)生的直接原因是5GC設(shè)備商軟件升級，觸發(fā)隱性軟件Bug。經(jīng)過分析，該事故的深層次原因是5GC NFV化，帶來了核心網(wǎng)云網(wǎng)絡(luò)黑盒化問題，導(dǎo)致5GC運(yùn)維技術(shù)難度高，故障定界定責(zé)定位難度高，難以發(fā)現(xiàn)網(wǎng)元故障征兆，出現(xiàn)故障之后難以快速確定問題界面，難以快速確定故障源。

　　015GC運(yùn)維痛點(diǎn)

　　隨著CT與IT技術(shù)的融合以及5GC NFV化的發(fā)展，逐漸暴露出IT技術(shù)對通信網(wǎng)絡(luò)可靠性的影響。云計(jì)算技術(shù)可以為通信網(wǎng)絡(luò)帶來硬件通用化、彈性化、資源池化，業(yè)務(wù)迭代加速等好處，但原有專用設(shè)備的可靠性、易維護(hù)性在新的云架構(gòu)中面臨巨大挑戰(zhàn)。

　　在實(shí)際的5GC運(yùn)維過程中，已經(jīng)暴露出系統(tǒng)“黑盒化”、運(yùn)維技術(shù)難度高、故障定責(zé)定界難、面向業(yè)務(wù)保障難等一系列挑戰(zhàn)。

　　正是由于NFV化帶來的網(wǎng)絡(luò)可靠性問題和運(yùn)維保障困難，各大運(yùn)營商在現(xiàn)階段只能退而求其次，暫緩5GC三層解耦工作，只推進(jìn)硬件層解耦，或者硬件層與虛擬層、網(wǎng)元層廠商綁定，由5GC廠商來確保網(wǎng)絡(luò)運(yùn)行可靠性，但實(shí)際工作中，5GC廠商在對現(xiàn)網(wǎng)進(jìn)行運(yùn)維保障時(shí)面臨與運(yùn)營商同樣的技術(shù)挑戰(zhàn)和跨技術(shù)部門協(xié)同的困境。

　　02DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺

　　DeepFlow是由云杉網(wǎng)絡(luò)開發(fā)，面向云數(shù)據(jù)中心、用于業(yè)務(wù)可靠性保障的一款云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺。

　　DeepFlow基于云原生的軟探針流量采集技術(shù)、智能流量分析技術(shù)，實(shí)現(xiàn)對5GC云資源池硬件層網(wǎng)絡(luò)接口、虛擬層網(wǎng)絡(luò)接口、VNF層網(wǎng)絡(luò)接口的全棧流量采集和分析，搭建5GC網(wǎng)絡(luò)智能監(jiān)控分析平臺。

圖1 DeepFlow 5GC網(wǎng)絡(luò)監(jiān)控架構(gòu)

　　03方案要點(diǎn)

　　兼容性強(qiáng)：與各廠商5GC方案全兼容。

　　低資源消耗：1%的CPU資源、1%的內(nèi)存資源、1‱~1%的網(wǎng)絡(luò)帶寬資源。

　　跨層跨域：硬件層、虛擬化層、容器層全棧流量采集和網(wǎng)絡(luò)性能分析，準(zhǔn)確、客觀反映網(wǎng)元/網(wǎng)絡(luò)狀態(tài)，不依賴廠商日志。

　　秒級定位：智能分析、關(guān)聯(lián)展現(xiàn)任意資源點(diǎn)間端到端、逐跳性能指標(biāo)，實(shí)現(xiàn)故障秒級定界、定責(zé)、定位。

　　運(yùn)維場景：有效支撐丟包、時(shí)延、傳輸層異常、應(yīng)用層異常、網(wǎng)絡(luò)風(fēng)暴、信令風(fēng)暴等場景的監(jiān)控、運(yùn)維、故障定位。

　　04使用案例

　　2020年在某電信運(yùn)營商網(wǎng)絡(luò)云測試資源池進(jìn)行了DeepFlow系統(tǒng)的部署，納管宿主機(jī)、虛擬機(jī)、容器POD、IP，實(shí)現(xiàn)對5GC的納管覆蓋和可視化監(jiān)測分析。

　　通過在網(wǎng)絡(luò)云測試資源池的部署使用，充分證明了DeepFlow的產(chǎn)品能力，能夠打開5GC云資源池“網(wǎng)絡(luò)黑盒”，實(shí)現(xiàn)對所有5GC網(wǎng)元(VNF)不同層次、不同維度的拓?fù)淇梢暬�及性能指�?biāo)智能分析;建立面向宿主機(jī)、虛擬機(jī)、容器、5GC網(wǎng)元的多維度網(wǎng)絡(luò)監(jiān)測視圖，建立跨硬件層、虛擬層、網(wǎng)元層的統(tǒng)一可視化監(jiān)控運(yùn)維能力，降低各技術(shù)專業(yè)運(yùn)維難度;通過跨層的可視化能力，解決了故障快速定界、定責(zé)的難題，快速定位故障源，提升解決時(shí)效;解決業(yè)務(wù)保障、網(wǎng)元運(yùn)維、云資源運(yùn)維、網(wǎng)絡(luò)運(yùn)維的協(xié)同難題;為5GC云資源池提供針對性的安全觀測手段(信令風(fēng)暴、網(wǎng)絡(luò)風(fēng)暴、DDoS攻擊、非法IP訪問等)。

　　05故障定位案例

　　場景1：網(wǎng)元微服務(wù)DNS異�？焖侔l(fā)現(xiàn)及快速定位

　　在使用DeepFlow系統(tǒng)對5GC系統(tǒng)進(jìn)行監(jiān)控運(yùn)維過程中，5GC網(wǎng)元(VNF)的監(jiān)控視圖中發(fā)現(xiàn)PCF的“DNS異常均值”超出合理范圍。

圖2 PCF的“DNS異常均值”超出合理范圍

　　在DeepFlow系統(tǒng)中一鍵快速切換到PCF的容器POD視圖中，發(fā)現(xiàn)“cse-etcd-1”的“DNS異常均值”最高，快速鎖定故障源在網(wǎng)元容器POD-“cse-etcd-1”，指導(dǎo)網(wǎng)元運(yùn)維人員介入處理故障。

圖3 PCF內(nèi)的某個(gè)容器POD的“DNS異常均值”超出合理范圍

　　一鍵快速切換到“cse-etcd-2”的DNS日志視圖，發(fā)現(xiàn)“cse-etcd-2”的DNS請求被DNS服務(wù)器反饋“名字錯(cuò)誤”，快速為PCF業(yè)務(wù)運(yùn)維人提供了詳細(xì)DNS日志用于根因分析。

圖4 “cse-etcd-2”的異常DNS日志

　　通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級界定出故障界面發(fā)生在5GC VNF層，分鐘級鎖定出現(xiàn)問題的具體位置在VNF的某個(gè)具體容器POD。

　　場景2：網(wǎng)元微服務(wù)TCP建連失敗量異常快速發(fā)現(xiàn)及快速定位

　　在使用DeepFlow系統(tǒng)對5GC系統(tǒng)進(jìn)行監(jiān)控運(yùn)維過程中，5GC網(wǎng)元(VNF)的監(jiān)控視圖中發(fā)現(xiàn)PCF的TCP建連失敗遠(yuǎn)高于正常值(在5分鐘內(nèi)累計(jì)55.45K個(gè))。

圖5 PCF的TCP建連失敗總量異常

　　一鍵快速切換到PCF的容器POD視圖中，檢查“建連—失敗總量”排名，發(fā)現(xiàn)“vha-pod211-2”的容器POD異常，快速鎖定故障源在網(wǎng)元容器POD-“vha-pod211-2”，指導(dǎo)PCF網(wǎng)元運(yùn)維人員介入處理故障。

圖6 PCF的vha-pod211-2容器POD建連失敗總量異常

　　一鍵快速切換到“vha-pod211-2”的流日志視圖，可以發(fā)現(xiàn)大量的“服務(wù)端直接重置”異常，快速為網(wǎng)元運(yùn)維人提供流量日志用于根因分析。

圖7 PCF的TCP建連失敗流日志

　　通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級界定出故障界面發(fā)生在5GC VNF層，分鐘級鎖定出現(xiàn)問題的具體位置在VNF的某個(gè)具體容器POD。

　　場景3：虛擬機(jī)時(shí)延異常快速發(fā)現(xiàn)及快速定位

　　在Free5GC搭建的一套5GC環(huán)境中，使用DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺對5GC的全棧流量進(jìn)行采集和可視化分析，通過模擬虛擬化層的故障，在虛擬機(jī)接口制造500ms的時(shí)延。

　　通過DeepFlow平臺，在5GC VNF的可視化視圖中，快速發(fā)現(xiàn)AMF->AUSF、AUSF->UDM鏈路出現(xiàn)HTTP時(shí)延峰值異常告警(圖8步驟1)。

　　通過DeepFlow平臺的全棧性能指標(biāo)可視化視圖，可以一鍵快速查閱AUSF->UDM全路徑①-③、⑤-⑦接口的HTTP時(shí)延峰值、TCP建連客戶端時(shí)延峰值、TCP建連客戶端時(shí)延峰值，秒級鎖定問題位置在接口⑤與接口⑥之間，即UDM的宿主機(jī)與虛機(jī)間的接口導(dǎo)致時(shí)延異常(圖8步驟2)。

圖8 虛擬機(jī)時(shí)延故障定位過程注1：①AUSF容器接口;②AUSF虛機(jī)接口;③AUSF宿主機(jī)接口;⑤UDM宿主機(jī)接口;⑥UDM虛機(jī)接口;⑦UDM容器接口注2：步驟3-5表示HTTP時(shí)延、TCP建連客戶端時(shí)延、TCP建連客戶端時(shí)延的全棧指標(biāo)圖形化解讀。

　　通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級界定出故障界面發(fā)生在虛擬機(jī)層，分鐘級鎖定出現(xiàn)問題的具體位置在某臺虛擬機(jī)的某個(gè)虛接口。

　　聲明：登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其描述。文章內(nèi)容由客戶提供，僅供參考，讀者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。