注:此崗位為云集智造公司招聘崗位。
崗位描述:
1、負(fù)責(zé)企業(yè)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、系統(tǒng)調(diào)試、集成及基礎(chǔ)組件的調(diào)優(yōu),保證大數(shù)據(jù)產(chǎn)品平穩(wěn)上線運(yùn)行;?
2、負(fù)責(zé)數(shù)據(jù)抽?。╡tl),數(shù)據(jù)的分析及挖掘。
4、參與需求設(shè)計(jì),主導(dǎo)數(shù)據(jù)處理方案編寫(xiě),負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)的預(yù)研;
崗位要求:?
1、熟練使用Linux操作系統(tǒng),熟悉大數(shù)據(jù)平臺(tái)組件的搭建及維護(hù);?
2、具有5年以上大數(shù)據(jù)平臺(tái)項(xiàng)目實(shí)施經(jīng)驗(yàn)(數(shù)據(jù)抽取,數(shù)據(jù)分析,數(shù)據(jù)挖掘);
3、熟練掌握Hadoop、Hbase、Hive、Storm、Spark等開(kāi)源框架,具備Spark、HIve、Sqoop實(shí)際項(xiàng)目經(jīng)驗(yàn);
4、熟悉其它分布式生態(tài)圈相關(guān)技術(shù),包括HDFS,Hive、Redis、Mongodb、Flink、?Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch、Kylin等;
5、具有一定的項(xiàng)目規(guī)劃和決策能力,善于捕捉業(yè)務(wù)需求,并給出有效的處理方案;
6、熟悉整個(gè)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)流程,包括數(shù)倉(cāng)建立,數(shù)據(jù)的采集、清洗、預(yù)處理、數(shù)據(jù)存儲(chǔ)、組件優(yōu)化、問(wèn)題定位、數(shù)據(jù)分析挖掘、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化等(優(yōu)先考慮);
7、不少于4年大數(shù)據(jù)使用的實(shí)際工作經(jīng)驗(yàn);