崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)ETL的開發(fā),維護(hù)數(shù)據(jù)的完整生命周期;
2.負(fù)責(zé)數(shù)據(jù)倉庫(實(shí)時/離線數(shù)據(jù)倉庫)的建模,開發(fā),維護(hù)等;
2.?公司報(bào)表(BI)系統(tǒng)的設(shè)計(jì),開發(fā),維護(hù);
3?開發(fā)大數(shù)據(jù)平臺自動化運(yùn)維、監(jiān)控報(bào)警、故障處理相關(guān)工具和組件;
4.?維護(hù)線上系統(tǒng)的穩(wěn)定性、可靠性,能夠快速定位問題,提出優(yōu)化方案并實(shí)施;
5.?新數(shù)據(jù)業(yè)務(wù)(實(shí)時業(yè)務(wù)/數(shù)據(jù)服務(wù)等)的落地能力,能夠快速的分析需求并轉(zhuǎn)化為實(shí)際工作內(nèi)容;
任職要求:
1.至少3年的工作經(jīng)驗(yàn);
2.熟悉java語言或者python語言,熟悉JVM原理及常見的數(shù)據(jù)結(jié)構(gòu)和算法;
3.熟悉hadoop、hive、hbase、kafka、kylin等大數(shù)據(jù)周邊組件,了解原理,并能優(yōu)化;
4.了解Elasticsearch技術(shù)、原理并能對其優(yōu)化,使用過ES的API特性;
5.熟悉數(shù)據(jù)的ETL開發(fā),包括數(shù)據(jù)的離線和實(shí)時處理,開發(fā)過MR、Spark/Flink/Storm等相關(guān)任務(wù)作業(yè);
6.熟悉sql語句及調(diào)優(yōu),了解至少一門腳本語言,python或者shell,能夠編寫腳本任務(wù);
7.熟悉數(shù)據(jù)倉庫建設(shè)或者數(shù)據(jù)平臺開發(fā)建設(shè),有過數(shù)據(jù)中臺建設(shè)經(jīng)驗(yàn)的優(yōu)先考慮;
8.對數(shù)據(jù)敏感,有較強(qiáng)的責(zé)任心和獨(dú)立解決問題的能力;