中培专家论-企业级大数据平台建设综述

企业大数据平台的建设和运营无疑是实现上述目标的关键举措，也正成为是企业信息化建设的核心任务和目标，通过构建企业大数据平台，实现资源整合优化、统一数据采集及数据加工、统一数据共享及服务、提高企业运营效率、最大化释放数据价值，最终实现“一点存储、统一管控、多点应用、体现价值”的目标。

▌企业大数据平台的建设目标

企业大数据平台是企业信息支撑系统的重要组成部分，具备对企业各系统和其它域外部系统的数据聚合与数据处理能力，同时，通过对数据加工形成的数据资产进行统一管理与数据封装，实现对企业数据管理与数据服务能力、应用体系管理能力的系统支撑。

企业大数据中心应具备如下三方面特征：

1. “企业级”数据中心：企业大数据中心全面获取企业内外部各系统源数据，并进行整合、处理，生成企业级统一数据视图，数据服务范围面向企业各系统及应用领域，实现跨业务线、跨部门、跨系统的数据支撑。

2. “智慧型”数据中心：数据完备且标准规范；平台功能完善；数据共享充分；应用的智能化和多样化；系统资源可弹性扩展；系统架构可动态适配。

3. “管理运营”数据中心：企业大数据平台需肩负起企业数据管理和运营的枢纽作用，对企业数据的获取、传输、加工、应用、管控、运维等实行一体化支撑，实现数据管理流程与各方面工作的无缝衔接和高度协同，构建数据价值运营生态体系。

▌建设原则

1   ▏一体化原则

系统技术架构方面，应将地市系统数据纳入数据采集范围，并在数据存储方面实现统一数据存储和全省数据共享。

系统功能架构方面，应从数据的使用和数据应用的开发层面，实现数据的共享访问和数据应用的个性化开发支撑。

2   ▏先进性原则

企业大数据平台在系统架构方面，应确保先进性和可扩展性，确保企业大数据平台架构合理部署、适度超前，能够适应公司未来较长周期内发展需求，为源数据引入、应用建设提供一个稳定、可平滑演进的系统框架。

在系统技术方面，应采用先进的产品和技术，搭建一个架构可伸缩、可平滑扩展、资源可弹性调配的数据中心平台；

在体系架构方面，应实现数据中心大数据处理分析平台与应用平台的分离，采用组件化、模块化技术，确保平台在内核稳定的同时具有高度开放性、可灵活扩展。

在数据服务交付方面，应借鉴先进的SOA理念，实现数据与应用分离，提供快速便捷的应用交付能力，支持各类用户通过数据服务支撑平台按需定购，快速获得相关数据服务。

3   ▏智慧型原则

全新的企业大数据平台应逐步转变传统BI以报表提供为主的数据应用和服务方式，以洞察力为导向，提高数据分析处理和应用的实效性、关联性，充分发挥数据使能的驱动作用，改善数据应用和数据服务水平，充分体现系统在感知、调度、触发等方面的智慧性原则。

系统应从架构设计上，借助分布式计算与分布式存储技术，形成海量数据的快速处理与深加工能力，满足智慧性系统对数据的各种灵活加工与数据存储及智能调度的要求。

在数据管理方面，需在多形态、海量数据聚合处理形成的数据资产基础上，通过全面、灵活、可靠的数据资产模型与管理体系的支撑，实现对数据资产扩充智能化存储与管理、数据使用过程的智能引导与触发。

数据应用方面，通过场景化、标准化、流程化的应用体系和灵活、易用的应用开发工具的支撑，应具备对数据应用的开发与使用行为的感知能力，并通过系统的自学习能力与自助式数据封装能力，实现对数据应用使用的智能引导。

在系统管理层面，需实现对数据加工、数据封装、数据应用开发与数据应用使用行为的可视化管理、统一调度与流程监控，形成企业大数据平台的智能神经中枢。

4   ▏开放性原则

企业大数据平台服务对象：数据中心的服务对象覆盖面更广，不仅包括公司内部的管理人员、一线人员和运营人员，公司外部的合作伙伴、集团客户、大众客户，还包括公司内外的各域、各行业信息系统和IT平台。中心可依据数据安全标准、服务内容和SLA水平设定不同的数据开放级别。

企业大数据平台服务领域：随着源数据覆盖不断扩展数据服务领域横向不断延伸、纵向不断深化，可面向管理运营、面向市场扩展、面向外部客户提供多领域的数据应用。

企业大数据平台所使用的各种网络协议、硬件接口和数据接口等应符合业界开放式标准。应通过数据封装等标准化数据服务形式，面向公司各业务系统对外提供数据服务，支撑开放式数据应用构建。

5   ▏安全性原则

企业大数据平台应具备统一且完善的安全机制以确保数据的安全性和系统的安全性。

数据安全：企业大数据平台保存的数据是经过汇聚、提炼的各业务线、管理线的内外部数据，对管理决策、生产运营和业务扩展意义重大，数据访问和开放应进行严格的安全控制，需要针对不同的服务对象和数据内容构建差异化的安全访问策略和分级管理机制，确保资产信息保存、访问和传输的安全性。

系统安全：系统设计不能影响数据中心系统的可靠运行，需构建系统层面的安全控制机制，确保大数据采集、处理分析以及应用能够可靠准确运行，同时，数据中心应与其它系统之间采取严格的权限控制或防火墙等措施，保证其安全性。

6   ▏原则易用性

数据应用易用性：实现数据资产可视化呈现，构建的统一数据资产易于理解与应用，同时，提供友好的UI确保用户在应用数据服务时的良好客户体验，要求系统具备良好易用的人机交互界面与灵活多样的展现方式。

运营管理易用性：运营管理功能深入且直观。易理解、易学习，功能描述准确细致、逻辑清晰，用户进入操作界面后一目了然，能够很直观、很容易找到自己要使用的功能菜单，方便的完成运维操作。

7   ▏总体规划、分步实施、迭代式演进原则

企业大数据平台的规划实施，应结合企业的的转型战略实现突破创新，兼备先进性、智慧性和前瞻性；

具体的演进过程，应结合不同阶段的业务诉求、IT环境、数据中心成熟度等因素，制定数据中心服务能力体系建设、大数据企业大数据平台服务能力体系建设、企业大数据平台运营服务能力体系三个阶段。

▌系统规划

1   ▏系统能力体系

企业大数据平台建设是一个复杂的系统性工程，其能力体系包括：

构建大数据管理平台，支撑大数据的获取、加工、存储及服务能力

采用基于分布式处理的功能架构与技术架构，建设分层处理、功能解耦的企业大数据平台；应用Hadoop、实时流处理、分布式数据库、NoSQL数据库等大数据处理技术，构建公司内外部结构化、非结构化、流数据等不同形态海量数据的处理能力；合理部署存储资源，针对企业大数据平台海量数据实施分级存储管理；应用数据封装技术，实现企业大数据平台对外数据服务的系统化支撑；实施数据质量管理，保障企业大数据平台数据准确性；实施系统安全与信息安全管理，保障企业大数据平台运行稳定，具备高可用性，保障信息安全。

汇聚公司内外部源数据，有效组织多态大数据

采用统一封装的数据采集接口，实现对公司内外部系统数据的汇聚，包括公司内部以及各业务平台的价值源数据，公司外部互联网、社会统计、竞争对手数据。支持结构化、非结构化和实时数据的采集。支持海量数据的采集和存储。

构建企业级数据资产，支撑核心数据的共享和复用

采用先进加工技术实施大数据分析处理，实现对基础数据资产的统一管理。

通过智慧性，先进性的数据模型构建，实现从基础数据资产到应用数据资产的持续的加工处理。建立系统化的数据资产长周期存储、大数据量加工与转换方案，实现从存储效率、时间要求、访问要求、应用要求多维度的管控机制与系统管理支撑能力。

构建标准化数据服务能力，支撑公司运营数据需求

基于统一数据资产，建立标准化的数据服务流程和服务标准；以标准化数据服务方式为公司内外部各系统及使用方提供数据支撑。

构建数据应用体系，支撑数据价值挖掘及应用

建立企业大数据平台数据价值挖掘及应用流程，基于企业大数据平台数据支撑，在公司各业务运营领域推动数据应用，发挥数据价值。

面向内部管理：服务于企业的精细化管理要求，提升企业运营管理水平；

面向客户：为企业提高精准营销与个性化客户服务能力，优化客户感知；

面向合作伙伴：为合作伙伴提供高价值的数据服务产品，实现企业数据增值。

2   ▏系统总体框架

基于企业大数据平台的建设目标与建设原则，企业大数据平台从总体框架上要支持大数据时代的以多态、海量数据为主的数据源引入和数据聚合，通过大数据处理架构的数据处理能力形成集中的企业级数据资产，通过数据资产的加工与数据封装，以及数据管理体系与数据应用体系的建设，实现对数据应用和数据产品的开发与使用过程的智能化支撑，从而支撑企业的精细化管理、全业务运营。

企业大数据平台的总体框架包括数据聚合、数据资产、数据应用、系统管理、访问门户五个方面。通过聚合多态、海量源数据，形成企业级基础数据资产与应用数据资产，通过数据分析挖掘与数据封装，提供基于数据资产的数据服务，支撑数据应用与数据产品的开发，并通过系统门户，面向公司各类人员提供数据分析与业务决策支持，面向公司内业务支撑系统以及各业务平台提供数据服务能力，面向合作伙伴、集团客户等外部用户提供智慧型数据价值产品，助力外部企业用户的运营能力提升。

数据聚合

数据聚合方面，要聚合包含企业外部系统在内的公司内、外部数据，形成常态化的数据聚合机制。

针对源数据的数据种类、接口种类，建设与其相匹配的接口与处理能力，实现结构化数据/非结构化数据、实时/非实时数据的聚合，为加工形成集中的统一数据资产提供基础数据。

数据资产

数据资产的建设方面，要构建结构化、模型化数据资产的组织、管理、存储架构。根据业务使用要求（高热度数据/低热度数据），提供不同的数据资产分类管理、存储环境。引入NoSQL数据库，与关系型数据库形成高效的融合架构，共同形成数据资产的综合管理支撑能力。

数据资产包括基础数据资产和应用数据资产两个层面。

数据应用

数据应用从形态上包括数据应用、数据产品、数据服务三种类型。通过构建应用支撑体系，围绕公司运营的市场活动提供数据应用能力支撑。

1. 数据服务：是基于数据资产的数据封装，面向业务系统提供标准化数据服务接口，将数据能力按照服务的方式对外开放，实现系统间的有效互动。

2. 数据产品：是面向企业外部、合作伙伴等客户提供的基于数据资产进行分析挖掘形成的高价值数据产品。

3. 数据应用：包括基于数据集市数据加工而成的地市数据应用，和基于省级数据资产进行数据价值持续挖掘形成的全省数据应用,通过省市两级数据应用共享与互动，为省市两级的一体化运营提供价值应用支撑，面向公司业务决策与经营提供数据分析支撑能力。

系统管理

系统管理统一负责对企业大数据平台数据资产、数据应用的统一管理与调度，构建数据级可视化管理能力，实现全程数据溯源、数据质量管理和服务流程监控管理，为数据中心的开放运营提供基础保障能力。

访问门户

访问门户包括面向省市业务人员、公司领导的对内门户，面向外部人员数据产品运营的对外门户，面向企业大数据平台管理人员的管理门户三个组成部分。

1. 对内门户：是面向省市业务人员、公司领导提供统一的访问Portal。实现定制化的个人工作台。其中，地市数据应用通过对内门户的地市专区向地市人员开放，提供统一访问与管理。

2. 对外门户：是面向外部人员提供独立的安全的访问门户。以货架形式对外部企业与个人用户提供数据运营产品，方便外部客户获取适合自身的数据产品，提升企业与个人自身的市场运营能力。

3. 管理门户：是面向企业大数据平台管理人员和数据服务开发者的访问门户。管理人员通过该门户实现数据资产管理、数据服务管理、数据服务自助组装、系统日常运行维护与数据质量管控等功能，数据服务开发者通过该门户实现数据服务的自助开发与注册、管理，构建高价值数据服务开发的共享平台。

3   ▏数据平台功能架构

大数据基础平台

数据采集对业务数据进行统一采集的平台，获取层由网页爬虫和接口文件采集构成。它通过数据采集子层为数据层提供规范、高效的数据服务，实现业务数据的充分共享。

数据存储和处理是平台对业务数据进行统一组织、集中管理的平台，数据层由数据存储和数据处理组件构成。组件是实现特定功能的程序模块，比如：HDFS组件、MapReduce组件、Hive组件、YARN组件、Hbase组件等。

数据总线通过数据集成平台或ETL实现内部模块之间的数据交互。

大数据能力平台

基于上层大数据基础数据分析能力，针对不同业务产品，通过Java、Jobs等技术封装形成数据服务能力组件，包括关键词分析组件、客户识别组件、标签产品组件、行为分析组件等。从而为平台提供数据服务能力和平台服务能力。

大数据开放平台

在数据服务能力组件基础上，对外提供服务能力开放，提供各种访问设备、外部系统接入的接口，由接入适配构成。它进行交互信息的协议转换、路由控制、负载均衡和访问设备的合法性验证，完成访问设备、外部系统与平台系统的接口适配。

大数据管理平台

大数据管理平台是大数据能力产品与应用平台对系统进行统一管理、监控的平台，管理层由系统安全、数据质量、作业调度、运维监控等构成，通过建立网络安全、数据隐私保护、调度机制、运维监控管理等为平台提供管理保障措施。

大数据应用平台是大数据能力产品与应用平台实现应用功能的平台，可通过标准化服务接口访问，由一个或多个组件按一定的规则和标准封装而成，既是展示逻辑调用的对象，也是组成业务流程的实体，也可调用服务来完成业务功能。

信息化建设是一个逐步推进和不断完善的过程，不可能一蹴而就，尤其是作为企业架构之一的大数据支撑平台建设，即要有高瞻远瞩的战略眼光，又要有脚踏实地的务实精神，把企业的当前需求与长远规划发展结合起来，突出重点、分步实施，实现对精确管理和品牌经营的有力支撑。

想了解更多IT资讯，请访问中培教育官网：中培教育