工作職責(zé):
參與大數(shù)據(jù)平臺/倉庫項目實施與開發(fā)
1?數(shù)據(jù)開發(fā):各類數(shù)據(jù)庫(達夢,mysql等)、API接口(python/json/repuest)、手工數(shù)據(jù)(excel)歸集到大數(shù)據(jù)平臺(離線、實時);平臺內(nèi)數(shù)據(jù)開發(fā)(ods/dwd/dws等,新建集市,指標(biāo)口徑梳理與開發(fā),問題排查,手工指標(biāo)更新??)
2?平臺運維:星環(huán)大數(shù)據(jù)平臺運維zabbix/Prometheus,容器化管理docker+k8s,各組件健康性監(jiān)控與響應(yīng)hdfs/kafka/yarn/zk/flink,?工作流監(jiān)控與運維(問題定位、日志分析)
任職/崗位要求:
1?【必備】計算機相關(guān)專業(yè),碩士
2?【必備】24屆及以后,每周5天,實習(xí)6個月以上,盡量穩(wěn)定
3?【必備】有2個月以上大數(shù)據(jù)平臺實習(xí)經(jīng)驗
4?【必備】熟練使用語言:Java/Python/SQL/Shell
5?【必備】熟悉大數(shù)據(jù)平臺各組件(hdfs,?yarn,?zk,?kafka等)原理,并有本地部署和使用經(jīng)驗
6?【必備】接受適當(dāng)加班;有耐心處理數(shù)據(jù);工作認真負責(zé);熱愛技術(shù)難點攻關(guān);
7?【加分】了解容器化相關(guān)知識和操作Docker+K8s;熟練操作Excel(常用函數(shù),數(shù)據(jù)入庫)PPT等;有ETL工作經(jīng)驗:數(shù)據(jù)抽取,清洗,導(dǎo)出,工作流調(diào)度及相關(guān)工作:kettle,?datax,?datastage,airflow等