Hadoop与Spark大数据技术 中培带你远航

随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，中培教育特为此开设了大数据相关的培训课程，为我国的互联网行业贡献一份力量。

一．Hadoop

2011年起，中国就进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。可以说，Hadoop在大数据领域的成功，更引发了它本身的加速发展。

众所周知，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。而它的名字来源于Doug Cutting儿子的玩具大象。Doug Cutting曾说过："这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。"

Hadoop能解决什么问题呢？

Hadoop作为大数据系统可以做的事情有很多的，最为常见的像日志分析，搜索，图片分析，物联网传感数据分析，数据的长期存储。我们选择Hadoop是因为Hadoop具有这些优点。（1）可以存储结构化数据和非结构化数据；（2）性价比高、容错率高；（3）当服务当中的一台服务的软硬件出错后系统都能继续运行；（4）能够对海量数据快速存储；（5）对海量数据做快速计算；（6）能够通过添加节点的方式快速扩展系统；（7）Hadoop对系统数据安全性是有保障的。　　

看多Hadoop的朋友都知道，存储在Hadoop平台中的数据，通过统一的分布式存储HDFS，可以将数据的访问和存储分布在大量服务器之中，在可靠的多备份存储的同时，还能将访问分布到集群的各个服务器之上。　　

Hadoop架构可以很好的解决数据库扩展的瓶颈，它把数据库的设计部署在经济实惠的硬件上，通过横向扩展，便可无限的提升数据库的数据处理能力。

二．Spark

1.Spark的定义

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。其架构如下图所示：

2.如何使用Spark

Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。

由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。

总的来说Spark的适用面比较广泛且比较通用。

有人说：“Spark就像一个高性能引擎; 它支持您想要对数据执行的工作。Hadoop可以提供一个可能的存储层，为Spark引擎提供数据”。在大数据技术领域当中，应用Hadoop和Spark技术体系，能强化大数据平台的分布式集群架构和核心关键技术实现、大数据应用项目开发和大数据集群运维实践、以及Hadoop与Spark大数据项目应用开发与调优的全过程沙盘模拟实战。

以上在中培课堂中就能全盘掌握。而参加中培培训，让每个学员都能在课程培训过程中学到实实在在的大数据技术知识体系，以及大数据技术应用实战技能，具备实际大数据应用项目的动手开发实践与运维管理部署能力。