崗位要求
1、扎實(shí)的Java、Scala語(yǔ)言基礎(chǔ),對(duì)JVM運(yùn)行機(jī)制有深入了解;
2、有hadoop和spark實(shí)際開發(fā)經(jīng)驗(yàn)。了解大數(shù)據(jù)組件的使用限制和應(yīng)用場(chǎng)景,如hdfs,yarn,hbase,hive,flume,kafka,zk,ES,Storm等
3、熟悉mysql、ElasticSearch、Redis等關(guān)系型或NoSQL數(shù)據(jù)庫(kù),了解應(yīng)用場(chǎng)景和使用限制。有實(shí)際調(diào)優(yōu)經(jīng)驗(yàn)者更佳。
以下優(yōu)先考慮:
1、熟悉并行計(jì)算或者分布式計(jì)算,熟悉Spark框架,熟練掌握RDD,SQL,?Streaming,?MLLIB編程;
2、有深入研究過(guò)Hadoop/Spark源碼者優(yōu)先;
3、深入理解HDFS分布式文件系統(tǒng)架構(gòu);熟練掌握Hadoop/Hive/HBASE的運(yùn)維和調(diào)優(yōu)方法;
4、熟悉linux常用命令,有實(shí)際HDP或apache版本的hadoop部署經(jīng)驗(yàn)者優(yōu)先;
5、掌握或使用過(guò)Storm、Spark、flume、kafka等工具;
6、5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn),參與并成功部署過(guò)2個(gè)日均TB級(jí)的集群項(xiàng)目。