必备技能及职责要求介绍 大数据要学什么东西( 二 )


编程语言:熟悉使用Python、R、Java任意一门编程 , 在大数据分析中Python及R语言的使用率比较高 。
数据库:MySQL数据库及SQL语句、Hive 。
大数据生态系统:Hadoop、Spark 。
Linux系统:熟悉Linux操作系统、能够使用ETL工具 。
2、大数据开发工程师
大数据开发工程师可以分成Java学习阶段及大数据学习阶段两个阶段来学习大数据开发工程师所需要的技术 。
Java学习阶段
静态网页基础:HTML基础知识及CSS基础知识 。
JavaSE:JavaSE基础语法、面向对象、JavaAPI、MySQL数据库及SQL数据库、JDBC、线程、网络编程、反射基本原理 。
JavaWeb:JavaScript、Jquery、XML&版本控制 。
企业级框架:Spring、Spring mvc、SpringBoot、Mybtis 。
大数据学习阶段
在大数据学习阶段中可以分成两个小部分学习 , 一个是Linux系统部分 , 另一个是大数据技术框架部分 。
Linux系统:Linux系统基础知识、CentOS、Maven , 学习这部分便于学习大数据技术框架部分 。
大数据技术框架:HDFS、MapReduce、Yarn、Hbase、MongoDB、Redis、Flume、Scala、Kafka、Spark、Hive、Flink、ES、Oozie 。
4、算法工程师
算法工程师根据职业需求有着许多分支 , 不同的分支所要求学习的技能也就不同 。下面小编将介绍其中一个分支机器学习算法工程师所要掌握的技能作为参考 。
机器学习算法工程师需要掌握机器学习理论、概率和统计基础、基础数据结构与算法、开发语言(Python、Scala、R)、特征处理&工程、基础开发能力、单机开发工具(numpy、sklearn等)、大数据开发工具(hadoop、spark、storm)、架构设计(数据仓库&数据流架构、机器学习相关服务架构) 。
大数据技术所涉及的知识多又广泛 , 就全部内容学习会找不清自己所要学习的方向 , 因此这种时候可以先找准自己要重点研究的方向然后开始学习


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: