大數(shù)據(jù)開發(fā)工程師崗位描述
崗位職責(zé)
1. 基于Hadoop、Spark、Flink等大數(shù)據(jù)技術(shù)棧，開發(fā)并維護(hù)離線/實(shí)時(shí)數(shù)據(jù)處理鏈路，完成數(shù)據(jù)采集、清洗、轉(zhuǎn)換、計(jì)算等全流程工程實(shí)現(xiàn)；
2. 參與企業(yè)數(shù)據(jù)倉(cāng)庫(kù)分層建模（ODS/DWD/DWS/ADS），設(shè)計(jì)表結(jié)構(gòu)、維度與指標(biāo)體系，落地?cái)?shù)倉(cāng)建設(shè)與迭代優(yōu)化；
3. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)集群的日常運(yùn)維、性能調(diào)優(yōu)、任務(wù)監(jiān)控及故障排查，保障數(shù)據(jù)流轉(zhuǎn)的高可用、高并發(fā)與高效性；
4. 對(duì)接業(yè)務(wù)部門數(shù)據(jù)需求，開發(fā)數(shù)據(jù)接口、定制化數(shù)據(jù)加工任務(wù)，支撐業(yè)務(wù)分析、報(bào)表可視化及數(shù)據(jù)應(yīng)用落地；
5. 參與大數(shù)據(jù)技術(shù)選型、架構(gòu)設(shè)計(jì)與方案評(píng)審，解決數(shù)據(jù)存儲(chǔ)、同步、計(jì)算等場(chǎng)景下的工程問(wèn)題，推動(dòng)技術(shù)架構(gòu)迭代；
6. 規(guī)范數(shù)據(jù)開發(fā)流程，編寫技術(shù)文檔，推動(dòng)團(tuán)隊(duì)開發(fā)標(biāo)準(zhǔn)化、工程化落地。
任職要求
1. 本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、大數(shù)據(jù)等相關(guān)專業(yè)，2年及以上大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗(yàn)；
2. 精通Hadoop、Spark、Flink核心原理，熟練使用Scala/Java/Python進(jìn)行大數(shù)據(jù)開發(fā)，能獨(dú)立完成離線/實(shí)時(shí)任務(wù)開發(fā)；
3. 熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論（星型/雪花模型、維度建模），有實(shí)際數(shù)倉(cāng)建設(shè)落地經(jīng)驗(yàn)，能設(shè)計(jì)合理的指標(biāo)與維度體系；
4. 掌握Hive、HBase、ClickHouse、Kafka等大數(shù)據(jù)組件的使用與調(diào)優(yōu)，熟悉數(shù)據(jù)同步工具（DataX/Sqoop/FlinkCDC等）；
5. 具備良好的問(wèn)題排查能力，能定位并解決集群故障、任務(wù)性能瓶頸、數(shù)據(jù)一致性等問(wèn)題；
6. 擁有良好的業(yè)務(wù)理解能力、溝通協(xié)作能力和文檔編寫能力