AISWare AntDB助力某省電信大數據彙聚自助分析平臺實現秒級響應

客戶需求

某省電信大數據分析平臺,需要對BSS的三戶、訂單、實例等數十TB規模的數據進行快速統計分析,每次分析的數據量級在億級別,同時需要向其他廠商開放此實時的數據分析查詢能力,原有的大數據架構Hadoop+Hive的平臺在查新時效性、性能方面無法滿足客戶的需求。客戶考慮使用開源的Postgres-XL數據庫集群來支撑實時查詢分析的場景,但在落地過程中出現性能和擴展方面的瓶頸。

建設方案

使用亞信科技可以支撑百TB級數據規模高幷發交易型業務和等量級數據規模分析性業務的AISWare AntDB替代開源的Postgres-XL來建設大數據分析實時查詢平臺。采用shared-nothing的架構,由多台X86服務器,采用4C8D1GTM的組網架構完成AntDB的部署。部署架構如下:

應用效果

新的大數據分析平臺通過使用AntDB分布式SQL優化器和幷行執行引擎,實現了對數十張表關聯近百個字段group by操作節點間幷行和節點內進程幷行的優化策略,性能最高提升上百倍,滿足客戶要求對海量數據進行分析秒級響應的業務需求。從上綫後穩定運行至今,幷解决了前期遇到的所有性能和技術問題,得到了客戶的高度認可。