AISWare AntDB助力某省电信大数据汇聚自助分析平台实现秒级响应

客户需求

某省电信大数据分析平台,需要对BSS的三户、订单、实例等数十TB规模的数据进行快速统计分析,每次分析的数据量级在亿级别,同时需要向其他厂商开放此实时的数据分析查询能力,原有的大数据架构Hadoop+Hive的平台在查新时效性、性能方面无法满足客户的需求。客户考虑使用开源的Postgres-XL数据库集群来支撑实时查询分析的场景,但在落地过程中出现性能和扩展方面的瓶颈。

建设方案

使用亚信科技可以支撑百TB级数据规模高并发交易型业务和等量级数据规模分析性业务的AISWare AntDB替代开源的Postgres-XL来建设大数据分析实时查询平台。采用shared-nothing的架构,由多台X86服务器,采用4C8D1GTM的组网架构完成AntDB的部署。部署架构如下:

应用效果

新的大数据分析平台通过使用AntDB分布式SQL优化器和并行执行引擎,实现了对数十张表关联近百个字段group by操作节点间并行和节点内进程并行的优化策略,性能最高提升上百倍,满足客户要求对海量数据进行分析秒级响应的业务需求。从上线后稳定运行至今,并解决了前期遇到的所有性能和技术问题,得到了客户的高度认可。