崗位職責(zé)
1. 基于Java技術(shù)棧，負(fù)責(zé)大數(shù)據(jù)平臺(tái)核心模塊開發(fā)、迭代與維護(hù)，參與離線計(jì)算、實(shí)時(shí)計(jì)算任務(wù)的編碼、測(cè)試與上線，保障服務(wù)高可用、高穩(wěn)定。
2. 負(fù)責(zé)數(shù)據(jù)倉庫分層開發(fā)（ODS/DWD/DWS/ADS），基于Java+SQL完成數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載（ETL）任務(wù)開發(fā)，優(yōu)化ETL作業(yè)性能，解決數(shù)據(jù)處理過程中的異常問題。
3. 熟練運(yùn)用Hadoop、Spark、Flink、Kafka等大數(shù)據(jù)組件，結(jié)合Java語言進(jìn)行二次開發(fā)、任務(wù)調(diào)度與優(yōu)化，解決數(shù)據(jù)傾斜、任務(wù)延遲等常見問題。
4. 配合架構(gòu)師完成大數(shù)據(jù)平臺(tái)技術(shù)方案落地，參與技術(shù)選型討論、代碼評(píng)審，遵循團(tuán)隊(duì)編碼規(guī)范，沉淀開發(fā)文檔與技術(shù)組件。
5. 對(duì)接業(yè)務(wù)部門，深入理解業(yè)務(wù)需求，將業(yè)務(wù)需求轉(zhuǎn)化為大數(shù)據(jù)開發(fā)方案，開發(fā)數(shù)據(jù)接口、數(shù)據(jù)報(bào)表，支撐業(yè)務(wù)數(shù)據(jù)驅(qū)動(dòng)決策。
6. 負(fù)責(zé)線上大數(shù)據(jù)任務(wù)的日常監(jiān)控、運(yùn)維排查，快速響應(yīng)并解決線上故障，保障數(shù)據(jù)處理的及時(shí)性與準(zhǔn)確性。
7. 關(guān)注Java技術(shù)棧與大數(shù)據(jù)領(lǐng)域前沿技術(shù)，主動(dòng)學(xué)習(xí)并落地優(yōu)化，提升開發(fā)效率與系統(tǒng)性能。
任職要求
1. 本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，精通Java開發(fā)（核心要求），熟練掌握J(rèn)ava基礎(chǔ)、集合、多線程、IO、反射等核心知識(shí)點(diǎn)，具備扎實(shí)的Java編碼功底。
2. 精通大數(shù)據(jù)核心組件：熟練使用Hadoop（HDFS、MapReduce、YARN）、Spark（Spark Core、Spark SQL）、Flink，能獨(dú)立完成離線/實(shí)時(shí)任務(wù)開發(fā)與調(diào)優(yōu)；熟悉Kafka、HBase、ClickHouse、Doris等組件優(yōu)先。
3. 熟練掌握ETL開發(fā)流程與技巧，精通SQL優(yōu)化，能獨(dú)立完成數(shù)據(jù)倉庫分層建模與開發(fā)，有海量數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先。
4. 熟悉Linux系統(tǒng)操作，能熟練編寫Shell腳本；了解Maven、Git等開發(fā)工具，掌握SpringBoot、MyBatis等JavaWeb框架者優(yōu)先。
5. 具備良好的問題分析與解決能力，能獨(dú)立排查開發(fā)、運(yùn)維過程中的技術(shù)故障；有較強(qiáng)的責(zé)任心與抗壓能力，具備良好的溝通協(xié)調(diào)能力和團(tuán)隊(duì)協(xié)作精神。
6. 熟悉數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量監(jiān)控相關(guān)流程，有金融、電商、互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先。