中培教育IT资讯频道
您现在的位置:首页 > IT资讯 > 大数据 > 基于大数据的工程行业的企业级数据中心建设实例

基于大数据的工程行业的企业级数据中心建设实例

2017-07-14 10:05:09 | 来源:中培企业IT培训网

目前工程企业所使用数据中心,多采用传统技术建设,普遍存存在着建设成本高、扩展性不强、计算处理及分析挖掘能力有限的缺点。为了满足基于大数据的数据存储、处理、分析及应用需求,结合并行计算、大规模数据分析挖掘、线性扩展、全类数据支持等技术的企业级数据中心能够有效的实现全业务、全层级、全类型数据资源的集中整合和分析。

目前,大部分工程行业企业所构建的数据中心积累了大量的结构化数据、非结构化数据、地理信息数据和海量的实时数据,同时大多采用集中式服务器架构(如Oracle Rac)技术导致扩展性不强,因此无法满足数据的不断增长的全存储需求;并且数据处理以单点模式为主,缺少实时并行计算处理能力,无法应对海量数据的实时分析处理需求;数据存储与处理多只支持结构化数据,无法对非结构化数据进行有效存储、处理及分析,无法提供大数据环境下全方位、全类型数据存储及处理服务,无法为数据深度分析挖掘提供支撑。

基于大数据的工程行业的企业级数据中心总体架构图如图一所示,按照层次可以划分为数据源层、数据集成层、数据存储层、分析/服务层、业务应用层、前段访问层以及整体的数据管理平台。

图一、基于大数据技术的工程行业企业数据中心总体架构

数据中心通过接口表、接口文件、数据接收服务、数据消息接收等方式,实现对结构化数据、非结构化数据以及实施数据的获取,满足不同的数据时效性要求;数据中心在数据存储层包含数据仓库平台、分布式数据平台和流数据平台,用来存储不同特性的数据,并提供相应的数据服务;数据中心通过批量推送、数据实时服务等方式为目标系统提供整合后的结果数据,同时通过数据异步推送的方式,满足数据共享及应用的需求;数据中心实现信息综合展示及职能分析决策功能,并通过各种终端的集成展示,如PC终端、大屏幕以及移动终端,满足各类分析结果在前端展示要求;并且提供数据中心数据资源管理,实现对数据中心元数据、数据质量、数据标准、数据模型以及数据资源的管理。

一、数据集成层:【包括数据获取和作业调度两部分】

数据获取即将采集源系统的结构化数据、非结构化数据和实时数据送入数据中心,包括口表处理、消息接收处理、数据接收处理、实时数据采集和非结构化文件处理。

作业调度,实现对结构化数据、非结构化数据和实时数据获取等作业的调度,实现对数据中心内部数据处理流操作(包括ETL、MapReduce、Sqoop等),以及数据推送给各目标系统的作业的统一集中调度。调度实现调度引擎,提供作业的自动、手动调节方式,基于作业依赖配置信息控制作业执行的先后顺序,同时控制作业的并发度,并记录作业的运行结果和日志。

二、数据存储层:

【包含基于关系数据库的传统数据仓库平台、基于Hadoop生态体系分布式数据平台及流数据平台,用来存放不同性质的数据,并提供不同的数据服务。】

数据仓库平台:采用分层设计,即分为缓冲层、整合层、汇总层和集市层。缓冲层存储的是数据中心从源系统采集的数据,数据缓冲层能够很好的分担源系统批量/实时分发数据的压力,避免了重复获取数据带来的性能压力、版本时差、多次开发、冗余存储等问题,同时也能作为一个给的数据源,一定程度上屏蔽原系统(数据结构、时间窗口等)的变化对数据整合层、汇总层带来的影响。整合层是经过数据清洗、转换、整合后的业务数据,是数据中心的核心数据层,数据整合层是数据中心存储数据的核心层。汇总层存储,根据主题维度形成企业统计、汇总数据;更具主体报表加工需要,形成汇总数据;按主体存储汇总数据,通过日期、主体和处理类型等维度对业务数据进行计算后形成汇总数据存储。数据集市是面向特定业务单元(如业务部门)的分析数据集,数据主要基于整合层、汇总层数据,同时包含支撑目标特有的分析数据。

分布式数据平台主要保存以下几类数据:在传统关系数据库中难以保存的海量结构化数据、非结构化文档数据、流数据转储数据和关系型数据库的转储数据。按照数据存取需求和分布式平台技术组件的特性,把存储区分为基于HBase的数据存储区和基于Hive的数据存储区。非结构化数据层中存储来自各源系统的非结构化数据,包括办公文档、设计图纸、文本文件、图像文件等。海量结构化数据层中存储来自各源系统的海量结构化数据。流数据转储层中存储来自流数据平台的定期转储数据,协助流数据平台实现实时数据的持久化保存。

流数据平台包含实时数据整合层、实时数据汇总层和业务缓存层。实时数据整合层:在流数据平台整合层中,为了避免数据源的不一致性,源系统入口端统一采用Socket通信的方式进行交互。由数据中心系统对源系统的Socket进行监听,当源系统有数据产生时,监听程序获得数据,并将监听的数据来源信息写入相应的消息队列中。 实时数据汇总层:采用 Storm 以流的方式对整合层消息队列中的源数据进行处理,按照业务需要进行数据的汇总、计算和存储。业务数据缓存层:当 Storm 对流数据进行计算完成后,会根据具体的业务计算逻辑得出数据(架构如图二所示)。

图二、数据存储层架构图

三、分析/服务层:包含信息综合展示平台、智能分析决策平台和数据服务(如图三所示)。

信息综合展示平台,以数据存储层为基础,是一个集报表查询、综合分析为一体的应用平台,实现对分析展现页面内容、布局、组件、央视、联动关系等进行动态配置。

智能分析决策平台功能包含数据加载、数据预处理、数据挖掘算法、分析模型管理及模型运行调度等模块;为数据挖掘过程中数据理解、数据预处理、算法建模、模型评估、模型应用等环节提供技术职称;并针对大数据分析的应用需求,融合大数据挖掘算法库(包括描述性挖掘算法,如聚类分析、关联分析等;预测性算挖掘算法,如分类分析、演化分析、异类分析等;专用数据分析挖掘算法,如文本分析、语音分析、图像分析、视频分析等)。

数据服务接口实现的主要功能包括数据实时服务、订阅发布、批量数据服务等,并给予告诉缓存功能提升系统的整体性能。

图三、分析/服务层架构图

四、数据管理层:由元数据管理、数据质量管理、主数据管理、数据标准管理、作业集中调度监控功能(如图四所示)。

元数据管理:实现数据中心元数据的快速查找、获取、使用和共享,为数据中心数据共享交换、多维分析、辅助决策、数据挖掘等应用提供元数据支撑。

数据质量管理:实现数据中心数据的常态化质量稽核,保障业务系统数据接入的及时性、完整性和合规性。

主数据管理:实现物资、项目、合同等主数据的统一管理、应用和维护,保证物资、项目、合同主数据修改的一致性和稳定性。

数据标准管理:实现对数据中心标准文档的统一管理。

作业集中调度监控:实现对数据中心ETL接口作业、大数据作业的统一任务调度管理及监控。

图四、管理层架构图

随着工程行业的信息化水平不断提高,信息系统已经全面融入到企业生产经营管理业务的各个方面,积累了大量的结构化数据、非结构化数据、地理信息数据和海量实时数据;因此采用基于大数据的企业级数据中心可以弥补传统技术的缺点,解决了传统技术扩展性不强、建设成本高、计算处理及分析挖掘能力有限的缺点,满足企业大数据环境下的全类型数据存储、处理、分析及应用的需求。

标签: 大数据

预约领优惠