请选择 进入手机版 | 继续访问电脑版
当前位置: 首页» 产品介绍» 经典案例»中国移动总部集中经营分析系统——深度分析云助力中移动经营决策 ... ... ... ... ... ...

中国移动总部集中经营分析系统——深度分析云助力中移动经营决策 ... ... ... ... ... ...

2017-10-11 14:51| 查看: 326

项目背景

深度分析云是中国移动总部集中经分系统的重要组成部分,负责历史数据存储与深度分析,用于汇集经分主数据仓库、B域、O域、M域数据,以及Hadoop云的互联网分析结果、采样数据,用以支撑各类开放式分析环境,合理分配数据空间、运算资源。数据分布采用更为合理的多层结构,构建数据和应用的生命周期管理机制,规划进行科学部署。

需求分析

深度分析云定位于集中经分系统的历史数据存储与深度分析,在确保数据一致性的基础上,对外提供自助分析、深度挖掘服务的支撑。本次建设需求,重点包括:

  • 元数据管理、数据质量管理、系统管理服务;
  • Sandbox应用的管理;
  • 针对自助分析的各类数据挖掘,查询、报表、多维分析;
  • 不良治理数据运算和分析展现;
  • 与主数据仓库和Hadoop平台高效的数据传输。

解决方案

集中经营分析系统由三个库构成,三个库分别为主数据仓库、GBase 8a MPP数据仓库、Hadoop云,各库通过独立的集群进行建设,三库之间数据通过ETL平台来进行调度和转移。深度分析云是由GBase 8a MPP Cluster分布式数据库构成,集群节点数共计277个,其中包括272个数据仓库节点,1个监控节点及4个测试节点;13.3PB实际入库,每日增量9.7TB,数据来源于全国31省上传的业务数据。深度分析云作为存储数据的平台,由以下四类数据组成:

l   来自B域、O域、M域的融合数据;

l   来自非结构化数据,即Hadoop云的互联网分析及汇总的结果;

l   来自自助分析提供的沙盒数据、采样验证数据等;

l   来自数据集市数据。

数据规模为“12+1”月明细数据。

MPP数据库集群组成的深度分析云,重点包含如下功能:

l   实现底层结构化、非结构化数据的轻度汇总,并在汇总数据基础上实现多维分析、趋势分析、TopN分析、原因影响分析和What IF分析等;

l   通过海量的跨域数据间的关联计算实现深度分析与挖掘,生成准确的用户画像;

l   自助分析查询能力;

l   提供数据集市应用;

l   借用MPP数据仓库的OLAP数据处理能力,生成数据沙盒(Data Sandbox)。

价值体现

l   自助分析:自助报表、多维分析查询实现秒级响应,解决大数据量查询效率低下问题,有效提升用户满意度;

l   动态扩展:系统可扩展能力强,支持集群动态扩展,且性能随着节点的增加而线性提升;

l   低投高效GBase 8a MPP Cluster运行于低成本X86 PC Server,成本低廉,性能高效;

l   国产化:产品完全自主研发,国产可控,响应去IOE的发展趋势;

l   混搭架构支撑海量数据:通过分布式计算和存储以及Hadoop + MPP + 主数据仓库的混搭结构有效支撑海量数据。

返回顶部