初级大数据开发工程师需要学什么？具备哪些技能？

随着互联网大数据的时代的到来，越来越多的人看到大数据工程师的好处。所以很多人都纷纷转行做大数据开发工程师。但是对于一些新手小白来说，在初次接触大数据开发时，他们有太多的问题需要了解了。就好比，初级大数据开发工程师需要学什么？初级大数据开发工程师需要具备哪些技能？如果了解下文这些知识，将成为专业的大数据开发工程师。2W的月薪就是小毛毛雨。

　　初级大数据开发工程师需要学什么？

学习大数据的两大基础就是JAVA和Linux，学习顺序不分前后。需要同时掌握，才可以继续大数据课程的学习。

· Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？

只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

　　· Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

　　大数据开发工程师需具备哪些技能？

　　Java

大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下。

　　Linux

因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

　　Hadoop

这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。

　　Mysql

我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

　　Sqoop

这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

　　Hive

这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那它和Pig差不多掌握一个就可以了。

以上就是关于初级大数据开发工程师需要学什么，以及初级大数据开发工程师需要具备哪些技能的相关内容介绍。其实大数据开发工程师还有很多技能需要学习，例如Spark、Kafka、Hbase、Oozie、Zookeeper等等，这里就不详解列举。想了解更多关于大数据开发工程师的信息，请继续关注中培教育。