崗位職責(zé):
????1、承擔(dān)建設(shè)基于大數(shù)據(jù)離線/實(shí)時(shí)處理平臺(tái);
????2、負(fù)責(zé)公司大數(shù)據(jù)集群的構(gòu)建、運(yùn)維、開發(fā)工作,確保高可用;
????3、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及集群性能優(yōu)化,參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);
????4、參與業(yè)務(wù)數(shù)據(jù)、生產(chǎn)日志的抽取、轉(zhuǎn)儲(chǔ)、檢索等相關(guān)工作;
????5、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計(jì)和開發(fā)。
????
????崗位要求:
????1、本科及以上學(xué)歷,5年以上Java工作經(jīng)驗(yàn),3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
????2、精通Java,熟悉Hadoop、Storm、Spark、Flume、Kafka、Hbase等組件的原理,有良好的系統(tǒng)性能優(yōu)化及故障排除能力;
????3、對(duì)HDFS、Yarn的原理有深入了解,掌握系統(tǒng)優(yōu)化、資源分配與權(quán)限控制,經(jīng)歷過(guò)完整的設(shè)計(jì)、開發(fā)、運(yùn)營(yíng)周期;
????4、熟悉數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)治理的生命周期及各類建模理論,有實(shí)際互聯(lián)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目、數(shù)據(jù)治理項(xiàng)目建設(shè)經(jīng)驗(yàn);
????5、有大數(shù)據(jù)相關(guān)分布式系統(tǒng)(如Flink/Spark、HBase等)的開發(fā)經(jīng)驗(yàn);
????6、具有敏捷開發(fā)、完整產(chǎn)品生命周期開發(fā)者優(yōu)先;
????7、學(xué)習(xí)能力強(qiáng),善于獨(dú)立思考,思維活躍,對(duì)技術(shù)有強(qiáng)烈激情。