工作職責:
參與大數據平臺/倉庫項目實施與開發(fā)
1數據開發(fā):各類數據庫(達夢,mysql等)、API接口(python/json/repuest)、手工數據(excel)歸集到大數據平臺(離線、實時);平臺內數據開發(fā)(ods/dwd/dws等,新建集市,指標口徑梳理與開發(fā),問題排查,手工指標更新)
2平臺運維:星環(huán)大數據平臺運維zabbix/Prometheus,容器化管理docker+k8s,各組件健康性監(jiān)控與響應hdfs/kafka/yarn/zk/flink,工作流監(jiān)控與運維(問題定位、日志分析)
任職/崗位要求:
1【必備】計算機相關專業(yè),碩士
2【必備】24屆及以后,每周5天,實習5個月以上,盡量穩(wěn)定
3【必備】有2個月以上大數據平臺實習經驗
4【必備】熟練使用語言:Java/Python/SQL/Shell
5【必備】熟悉大數據平臺各組件(hdfs,yarn,zk,kafka等)原理,并有本地部署和使用經驗
6【必備】接受適當加班;有耐心處理數據;工作認真負責;熱愛技術難點攻關;
7【加分】了解容器化相關知識和操作Docker+K8s;熟練操作Excel(常用函數,數據入庫)PPT等;有ETL工作經驗:數據抽取,清洗,導出,工作流調度及相關工作:kettle,datax,datastage,airflow等
補充,實習滿時長后,通過答辯即可轉正。