崗位職責(zé):
1.數(shù)據(jù)平臺(tái)建設(shè)與維護(hù);
2.數(shù)據(jù)平臺(tái)日常故障處理;
3.負(fù)責(zé)收集、清洗各種來(lái)源的數(shù)據(jù),并完成數(shù)據(jù)ETL及計(jì)算開(kāi)發(fā);
4.根據(jù)業(yè)務(wù)需求對(duì)數(shù)倉(cāng)模型的開(kāi)發(fā);
5.為團(tuán)隊(duì)提供技術(shù)指導(dǎo),并主導(dǎo)技術(shù)難題攻關(guān);
6.編寫(xiě)和評(píng)審核心技術(shù)文檔,沉淀知識(shí)體系,驅(qū)動(dòng)團(tuán)隊(duì)整體技術(shù)水平的提升
任職要求:
1.本科及以上學(xué)歷,計(jì)算機(jī)、統(tǒng)計(jì)、數(shù)學(xué)等相關(guān)專業(yè);五年以上工作經(jīng)驗(yàn)
2.熟練Linux操作系統(tǒng);
3.熟練CDH大數(shù)據(jù)相關(guān)組件(HDFS、YARN、Hive、Hbase、Spark、Flink、kafka等);
4.熟練ETL工具(如Sqoop、kettle等)以及調(diào)度工具;
5.熟悉mysql、oracle等關(guān)系型數(shù)據(jù)庫(kù);
6.熟練Shell、Python、java兩種及以上開(kāi)發(fā)語(yǔ)言,精通sql語(yǔ)句;
7.熟悉數(shù)倉(cāng)建設(shè)理論;
8.熟悉實(shí)時(shí)計(jì)算的開(kāi)發(fā),編寫(xiě)高質(zhì)量的Flink數(shù)據(jù)處理作業(yè)(Scala/Java);
9.開(kāi)發(fā)自動(dòng)化運(yùn)維工具、監(jiān)控腳本。
優(yōu)先考慮:
擁有Cloudera認(rèn)證專家(CCP/CCS)或其他頂級(jí)大數(shù)據(jù)技術(shù)認(rèn)證。
有成功主導(dǎo)從CDH遷移至CDP或其它云原生大數(shù)據(jù)平臺(tái)(如EMR, TDH)的實(shí)際項(xiàng)目經(jīng)驗(yàn)。
在開(kāi)源社區(qū)有貢獻(xiàn),如提交過(guò)Flink、Hadoop、Doris等項(xiàng)目的Patch。
對(duì)大數(shù)據(jù)前沿技術(shù)(如數(shù)據(jù)湖倉(cāng)一體、流批一體、算力分離)有深入見(jiàn)解和實(shí)踐