崗位職責:
1.數(shù)據(jù)平臺建設與維護;
2.數(shù)據(jù)平臺日常故障處理;
3.負責收集、清洗各種來源的數(shù)據(jù),并完成數(shù)據(jù)ETL及計算開發(fā);
4.根據(jù)業(yè)務需求對數(shù)倉模型的開發(fā);
5.為團隊提供技術指導,并主導技術難題攻關;
6.編寫和評審核心技術文檔,沉淀知識體系,驅動團隊整體技術水平的提升
任職要求:
1.本科及以上學歷,計算機、統(tǒng)計、數(shù)學等相關專業(yè);五年以上工作經(jīng)驗
2.熟練Linux操作系統(tǒng);
3.熟練CDH大數(shù)據(jù)相關組件(HDFS、YARN、Hive、Hbase、Spark、Flink、kafka等);
4.熟練ETL工具(如Sqoop、kettle等)以及調(diào)度工具;
5.熟悉mysql、oracle等關系型數(shù)據(jù)庫;
6.熟練Shell、Python、java兩種及以上開發(fā)語言,精通sql語句;
7.熟悉數(shù)倉建設理論;
8.熟悉實時計算的開發(fā),編寫高質(zhì)量的Flink數(shù)據(jù)處理作業(yè)(Scala/Java);
9.開發(fā)自動化運維工具、監(jiān)控腳本。
優(yōu)先考慮:
擁有Cloudera認證專家(CCP/CCS)或其他頂級大數(shù)據(jù)技術認證。
有成功主導從CDH遷移至CDP或其它云原生大數(shù)據(jù)平臺(如EMR, TDH)的實際項目經(jīng)驗。
在開源社區(qū)有貢獻,如提交過Flink、Hadoop、Doris等項目的Patch。
對大數(shù)據(jù)前沿技術(如數(shù)據(jù)湖倉一體、流批一體、算力分離)有深入見解和實踐