雲監控在聯通國際多媒體傳輸平臺中的應用

2016-12-16


中國聯通

壹、項目背景
2015年,聯通集團公司管理層提出“實施聚焦戰略,創新合作發展”,將 TV 視頻業務定位為中國聯通的戰略性基礎業務。為客戶提供低時延、高速安全的傳輸通道,能有效的提升中國聯通在視頻業務市場的競爭力。 按照這個戰略規劃的要求,聯通決定建設多媒體傳輸平臺,第壹階段先覆蓋國內重點城市以及部分海外POP點,部署多媒體傳輸平臺設備以及媒體網關、編解碼器等設備,利用專線或者公網解決海外 POP 點與國內以及國內重點城市間高質量的實時視頻、語音的承載、匯聚及分發,服務廣電、網絡視頻提供商等重要客戶。第二階段擴展到海外的重點區域,實現國內與國外間低延時、高可靠的實時音視頻傳輸。 視頻媒體網絡是以北京作為媒體中心,通過連接國內、國際POP點,形成聯通視頻媒體網絡,覆蓋國內、國際媒體客戶,提供全球媒體內容傳送服務。


多媒體傳輸平臺是基於OTN網絡並結合光纜、衛星、專線及互聯網等傳輸網絡上的增值業務,主要傳輸視頻、數據等,服務對象為國內外媒體客戶、互聯網視頻公司及視頻版權公司等,具有重大的經濟效益。面向集團客戶提供專業化的多媒體視頻傳送服務,構建覆蓋全球的視頻媒體網絡,通過多媒體傳送平臺的方式滿足客戶靈活組網及廣泛視頻內容的傳送需求。

二、難點和挑戰
1、跨地域
        空間上,整個傳輸網散布在國內東南西北,多個城市,海外還有香港、東京、倫敦、洛杉磯等,跨洲跨洋; 目前多媒體傳輸平臺的節點有北京、上海、廣州、天津、武漢、沈陽、西安、成都、福州等9 個境內城市,以及香港、東京、倫敦、洛杉磯4個境外城市覆蓋。 三期,還將增加如下幾個節點:長沙站、浙江站、烏魯木齊站、衛星站、CCTV站、移動站;


        傳輸網散布在國內外多個城市,跨洲跨洋
        空間上跨度大,距離遠,構建壹個統壹的網管,自身有難度和挑戰;


2、使用者分散在不同的部門,不同的分公司,因此需要分權分域,以支持更大規模的組織機構
        系統規模、復雜性和安全性的保證;當系統規模和使用人數達到壹定範圍時,從訪問安全的角度考慮,往往需要給予使用者不同的權限層級以簡化系統運維管理;反之,若所有賬戶權限扁平甚至是相同,會造成資源訪問上的沖突和管理的混亂; 跨地域的系統;當被控設備和使用分別位於不同地點,就需要按照所在區域劃分權限,當地用戶只能擁有本地設備資源的訪問權;
3、系統規模大
        體現在設備數量多,網絡分段,需要檢測的環節多; 信號的多樣,包括格式轉換等


系統網絡概覽(壹期)


3、復雜性
        海量的設備,龐大的信號數量,多樣化的信號格式,伴隨業務流程自動化而來的任務單驅動的報警過濾,智能聯動的需求,都會加大系統的復雜性。
4、需要與預約和自動傳輸等業務系統聯動
        本系統需要與聯通既有系統實現互聯互通,包括預約、路由、信號調度、傳輸、業務報表等。傳輸平臺不是壹個孤島,而是與既有系統融合貫通的有機整體的壹部分。 系統之間的交互,意味著這些Web應用應該使用精心設計的接口調用來完成跨系統的訪問,實現信息的流動和控制的遠程傳遞,同時還要保證系統的訪問安全性。
三、系統組成

傳輸平臺節點組成

四、監控系統功能
安達斯雲監控是壹款面向雲環境、IP化的綜合監控平臺;該平臺基於微服務架構,支持分層監控的代理機制,可提供無限的縮放能力;

平臺提供全面的監控,自動、聯動,敏捷靈動;支持基於大數據的統計、預測;規律抽取、趨勢提煉;報表生成;運營優化、推薦;壹鍵式雲上部署,采用B/S架構,方便瀏覽器的快速訪問。   

      雲監控首頁 


1、軟件功能
      (1)IP環境下系統狀態直觀形象的實時展示;


      實時參數展示


      實時報警展示


      (2)IP化的視音頻流的檢測;


      實時報警列表展示


      (3)信號的調整、調度和分發;
      (4)IP環境下設備的智能發現;
      (5)完備的設備監控能力;


      參數設置和調整


      (6)完備的信號檢測能力;


     

 信號鏈路檢測

 

      (7)完備的網絡監測能力; 

      (8)數據采集和數據分析能力,包括匯聚、存儲、建模、處理和運營推薦等;

      數據處理分析平臺
•企業級的事後數據分析處理平臺;
•適用於不同來源的海量數據的采集、匯聚、存儲和在線查詢處理;
•綜合使用Redis和MongoDB等NoSQL數據庫,提供卓越的性能和可用性;
•支持集群和橫向擴展,支持並行處理;
•在線報表生成;
•B/S架構,支持多用戶並發訪問;
•簡便,易維護,易部署;
•支持數據的高速批處理;
•提供GUI界面,支持交互式的數據導出;
•支持XML、JSON、MS Excel、CSV等多種文件格式的導出;
•支持多源數據的匯聚,生成統壹視圖和報表;


  •  



 


      大數據分析平臺


NoSQL數據庫的副本集+分片集群提供了卓越的性能和可用性


      指標參數的統計和指示


      各種報表的輸出


      (9)分權分域
      分權分域的內容涵蓋用戶管理、部門組織管理、權限管理、分視圖等內容;其中,權限管理是重點,畢竟系統多人、異地、並發訪問的時候需要強化授權和權限檢查;       系統提供機制,包括登陸驗證、部門管理、權限控制等,為設備讀寫、信號調度和鏈路狀態展示等提供了完備的訪問控制機制; 分權分域,主要是依照用戶所屬的部門,如各地分公司等,授權其只能訪問特定的拓撲圖和設備集合,比如外地分公司的用戶只能訪問外地分公司機房的設備和對應的拓撲圖、信號流圖等;這部分的開發是建立在上述的訪問控制機制基礎上的; 用戶管理,可按照用戶的角色(超級管理員,遊客,運營等)和部門給予操作者不同的權限;也可按照賬戶角色劃分權限;也可按照所在部門劃分權限; 嚴密周全的權限管理將若確保未分配訪問權限將無法訪問資源。


      按照部門給用戶授權


      嚴密的授權檢查

 
1、非功能性需求
      (1)易用;


      虛擬桌面,允許定制首頁,簡化日常使用


      (1)用戶界面、體驗可定制;


      報警關斷和過濾屏蔽


      組合顯示,儀表盤實時參數


五、系統特點
1、B/S架構,滿足用戶隨時隨地訪問系統的需要;


      提供瀏覽器為代表的多樣化客戶端,支持隨時隨地系統訪問


2、完善的解決方案;
3、高度自動化;

      支持與預約傳輸等業務系統聯動,執行報警的任務單過濾等;提供事件響應機制,可實現聯動、追隨等自動化模式;提供了標準的Restful API,可在之上搭建流程自動化系統;
4、極佳的彈性縮放能力;
支持二級代理,設備巡檢代理,集群等;通過增加更多的代理實例,水平擴展,可支持更多的系統負載;


      設備驅動代理是應對多樣化控制和海量設備的關鍵手段


      設備驅動代理,是基於微服務架構,實現對不同接口類型,不同協議規範,不同設備類型,不同訪問介質的適配。具體特點如下:
•a)微服務模塊,符合統壹標準,可靈活拔插組合,適配千變萬化的設備類型和通訊方式;
•b)提供了Restful API,向監控中心提供統壹的接口,上報信息和執行指令;
•c)支持高速緩存和消息總線等機制和設置,可利用讀寫分離、集群負載均衡等相關的加速設施來提效增速;
•d)支持代理池的概念,通過多實例部署實現橫向線性擴展,支持更多的設備,更大範圍的部署;
•e)支持跨機器跨網段跨地域的分布式部署;比如,著眼於密集的設備訪問可將驅動代理就近部署在被控設備的同壹個機房甚至是同壹個機架;著眼於安全,可與被控設備部署在同壹個網段,實現訪問的有效管控等等;


  •  




  •      

    服務多實例動態部署是性能橫向擴展的關鍵 

  •     
    微服務模塊監管器,用於對上述的設備驅動代理等相關微服務模塊做監管和調度;作為基礎設施之壹,監管器會密切監管上述微服務模塊的工作,特別是其健康狀況;具體的:
    •a)對被監管模塊做健康檢測和存活檢測;      
    •b)當個別微服務模塊工作不正常甚至是宕機異常退出時,監管器會自動發現,並自動重啟;
    •c)負載均衡,特別是動態負載均衡;可以人工操作,在GUI界面上參照載荷和健康狀態做實例的部署擴展和服務的啟停;也可以依照特定的規則啟動自動模式,會依照載荷和模塊健康狀態自動創建部署實例和卸載實例;
    •d)支持業務服務和代理等的壹鍵主備倒換;
    •e)提供Restful API,發布代理模塊和其他的微服務模塊的健康狀態;可基於這些微服務模塊的健康狀態,做聯動和幹預;比如,短信通知,郵件通知,動態負載倒換等等;

  •  


  •         設備驅動代理列表 


    5、微服務架構,可快速適應用戶定制化的業務流程;
    微服務架構模式(Microservices Architecture Pattern)是將大型的、復雜的、長期運行的應用程序構建為壹組相互配合的服務,每個服務都可以很容易得局部改良。由於每個服務可以各自進行x擴展和z擴展,而且,每個服務可以根據自己的需要部署到合適的硬件服務器上,通過多實例部署實現性能的橫向擴展;
    6、提供多層級、多來源的數據采集和匯總能力,以大數據分析來驅動運營的持續優化;
    可采集設備配置參數、運行指標、設備狀態,信號質量、網絡流量、收發活動、服務器運行指標、用戶訪問活動、機房環境等多方面的信息;   


  •       實時數據處理平臺 


    可以基於實時參數做報警分析,如設置意外變更、指標過限告警、目標消失告警、目標突發出現告警等,也可做多參數聯合分析,以規則公式等方式指定參數間約束和關聯,進行邏輯推理,趨勢分析;
    7、結合數據分析處理,提供不同視角的運營報表,提升對系統工作的洞察和見解;


          日常運營的趨勢分析


          參數值的時間歷程曲線

    7、提供標準的API接口,Restful API

          (1)標準的接口,HTTP協議+Json,易讀,簡化防火墻等端口設置;

          (2)接口範圍,涵蓋資源訪問、能力訪問、功能訪問和公共服務等多個方面;

          (3)提供完善的在線文檔,與接口保持時時同步;

          (4)可基於此搭建流程自動的系統,如自動收錄、任務執行、追隨聯動等;

    五、項目歷程及使用效果

          雲監控於2017年中至年底完成系統本身的調試和測試,並於2018年上半年交付使用,壹直穩定運行至今。期間,雲監控軟件與多媒體傳輸平臺壹起參加了冬奧會現場制播,亞運會,世界杯等重大節目制播活動。其強大的檢測監控能力,智能化的使用體驗,直觀的界面展示、全面的數據采集、分析處理能力,多樣的報表輸出等,獲得了客戶的認可。


    中國聯通視頻智能精品網運營服務中心


          其間,系統二期擴容,在之前的幾個國內城市的基礎上,增加了香港、東京、倫敦、洛杉磯4個境外城市的海外節點;2019年,進行了三期擴容,增加長沙站、浙江站、烏魯木齊站、衛星站、CCTV站、移動站這些國內節點。伴隨著多媒體傳輸平臺分階段的擴容,雲監控展示出絕佳的擴展性,特別是其橫向擴展能力,以微服務架構和設備代理等為代表的核心框架的應用,保證了系統的無縫演進和彈性擴展,同時為後繼的進壹步擴容留下了余地。

          雲監控作為最重要的輔助系統之壹,為聯通國際多媒體傳輸平臺實現安全播出、優質播出保駕護航。

聯絡我們

香港

香港新界火炭坳背灣街27-31號協興工業中心8樓B室

+852 2942 4688

+852 2406 7366

北京

北京市海澱區中關村大街甲28號海澱文化藝術大廈B座5層

+86 10 8253 3170

+86 10 8253 3213/15

100086

需要幫助?

郵件發送成功!