大数据关键技术与实战应用内训实施方案

培训背景

课程通过完整的大数据开发项目及一组实际项目训练与实战案例，完全覆盖Hadoop与Spark生态系统平台的应用开发与运维实践。课堂实践项目以项目小组的形式进行沙盘实操练习，重点强化理解Hadoop与Spark大数据项目各个阶段的工作重点，同时掌握作为大数据项目管理者的基本技术与业务素养。

培训收益

1.掌握业界最流行的MapReduce分布式计算框架关键技术、工作机制与编程模型，以及MapReduce最佳实践开发技术，包括cominber、partition和shuffle优化；

2.掌握基于内存的大数据统一编程框Spark核心技术、RDD数据模型、DAG图执行模式、缓存机制、容错机制、分布式系统架构，以及基于Scala的编程开发模型、常用数据处理函数、性能优化技术；

3.掌握大数据分布式文件系统HDFS关键机制、分布式系统架构、高可用方案、扩容方案、运维参数与性能优化；

4.掌握Hadoop分布式集群部署、参数设置与运维关键技术；

5.掌握YARN框架工作机制、关键组件，以及资源调度器的工作原理、常用调度策略和优化方向；

6.掌握NoSQL分布式数据库HBase工作机制、分布式系统架构、数据组织方式、读写机制，以及HBase表模式设计最佳实践；

7.掌握基于MapReduce和Spark的大数据仓库Hive与SparkSQL的工作原理，常见SQL操作，存储格式优化，分区/分桶技术；

8.掌握经典数据挖掘与机器学习算法，掌握基于Spark的机器学习算法库MLlib，及其数据模型和编程开发模型，掌握基于大数据的推荐技术与协同过滤算法；

9.掌握大数据分布式协同管理系统Zookeeper原理知识和应用场景；

10.深入理解大数据平台主流技术架构和各关键组件适用场景；

11.娴熟运用Hadoop与Spark大数据技术体系规划解决方案满足实际项目需求；

12.通过实战操作熟练地掌握基于Hadoop与Spark大数据平台进行应用程序开发、集群运维管理和性能调优技巧。

培训特色

本课程的授课师资都是有着多年在一线从事Hadoop与Spark大数据项目的资深讲师，采用原理技术剖析和实战案例相结合的方式开展互动教学、强化以建立大数据项目解决方案为主体的应用开发、技术讨论与交流咨询，在学习的同时促进讲师学员之间的交流，让每个学员都能在课程培训过程中学到实实在在的大数据技术知识体系，以及大数据技术应用实战技能，具备实际大数据应用项目的动手开发实践与运维管理部署能力。

课程大纲