1、負責系統(tǒng)架構(gòu)設(shè)計,基礎(chǔ)平臺搭建,平臺擴展功能的設(shè)計實施,支持主流的大數(shù)據(jù)分析模型及算法實現(xiàn);
2、負責優(yōu)化提升Flink/Spark/Hadoop/Hbase等集群的高可用性、高性能;
3、負責數(shù)據(jù)架構(gòu)的規(guī)劃,關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢、研究開源技術(shù)、將新技術(shù)應(yīng)用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展。
?任職要求:
1、5年以上軟件/互聯(lián)網(wǎng)行業(yè)從業(yè)經(jīng)驗,具有豐富的系統(tǒng)分析與架構(gòu)設(shè)計實踐經(jīng)驗,熟悉高性能、高并發(fā)、高可用性、高擴展性系統(tǒng)架構(gòu)設(shè)計?;
2、熟悉Linux/Unix系統(tǒng)、熟練掌握Shell/Python/Java/Scala編程;
3、熟悉CDN、分布式系統(tǒng)框架原理?;
4、精通Hadoop框架體系,Kylin/Presto/Druid(OLAP)Spark/Storm/Flink(實時計算)、Kafka/HBase/Elasticsearch/Redis(其他大數(shù)據(jù)相關(guān)組件)的一項或多項有深入研究,至少擁有在大數(shù)據(jù)領(lǐng)域一個以上項目經(jīng)驗,熟悉大數(shù)據(jù)平臺的搭建及運維的經(jīng)驗;
5、具有大型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計、ETL設(shè)計的相關(guān)經(jīng)驗;
6、對月度數(shù)據(jù)達百億級別以上數(shù)據(jù)量有實際接觸,對此類數(shù)據(jù)量做多維度分析的實踐能力;7、具備機器學(xué)習(xí)相關(guān)知識,熟悉tensorflow、caffe、mxnet等分布式機器學(xué)習(xí)組件的優(yōu)先。