大數據調度平臺助力數據運營降本增效

随着移動互聯網技術的高速發展，運營商的數據量呈指數級增長。如何利用海量數據資源進行價值和商業變現，成爲運營商提高核心競争力、搶占市場先機的關鍵。ETL(數據倉庫技術)作爲數據信息轉換的一種主要技術手段，是将業務系統的數據經過抽取、清洗轉換之後加載到數據中心的重要工具。随着數據量的增長及業務場景的變化，取數和計算範圍不斷擴充，整個ETL過程的調度也日益複雜，這不僅帶來運維成本的增加，也讓數據生産質量難于保障。爲此，運營商迫切需要尋求新的技術手段。

中興軟創結合多年的項目運營服務支撐經驗，提出構建全程調度平台解決方案。方案包含進度自動預測、異常監控告警、數據血緣分析等功能，實現從數據彙聚、數據處理到數據服務的全流程調度能力，有效協助運營商提升數據處理效率，滿足其處理海量數據和複雜業務場景的需求。

全程調度平台解決方案構建了三層立體式調度體系：

第一層端到端調度，從業務角度出發，提供松耦合、端到端的調度和監控功能。以數據爲中心，通過數據節點組織數據、數據依賴關系、生産流程任務，實現調度信息一點化管理。通過構建360度調度運行視圖，洞悉整個數據中心的調度運行情況，提供可視化實時監控。

第二層流程級調度，通過流程引擎控制任務之間的依賴關系，允許任務并行或串行執行。支持任務同步或異步執行，縮短整個流程執行時間，提升運行效率。

第三層任務調度，通過正式發布的任務，進行任務執行策略和調度策略，實現任務程序的周期性、臨時性或實時不間斷運行。任務調度實現數據中心多計算集群任務的統一配置和協同運行，優化系統資源調配。

2017年，中興軟創全程調度平台在湖南電信率先上線。目前已承接了湖南電信數據中心的10000+數據加工處理任務，問題查證率提高50%。同時數據質量覆蓋度提升至98%，人員培訓周期由1個月縮短到7天，節省了60%的人力成本。該平台逐步成爲湖南電信數據中心的連接器，以高質量、高效、敏捷、安全的手段支撐湖南電信内外數據需求。