崗位職責(zé):
1、大數(shù)據(jù)平臺開發(fā)與維護(hù):
(1)參與開發(fā)企業(yè)級大數(shù)據(jù)平臺架構(gòu),包括數(shù)據(jù)采集、存儲、計算、調(diào)度等模塊;
(2)負(fù)責(zé) Hadoop、Spark、Flink、Kafka 等大數(shù)據(jù)組件的部署、配置與優(yōu)化;
(3)開發(fā)數(shù)據(jù)集成框架,實(shí)現(xiàn)多源數(shù)據(jù)(結(jié)構(gòu)化 / 非結(jié)構(gòu)化)的高效采集與同步;
2、數(shù)據(jù)處理與算法開發(fā):
(1)參與設(shè)計與開發(fā)批量/流式數(shù)據(jù)處理流程,實(shí)現(xiàn)數(shù)據(jù)清洗、轉(zhuǎn)換、聚合等 ETL 操作;
(2)開發(fā)高性能數(shù)據(jù)計算算法,優(yōu)化數(shù)據(jù)處理效率與資源利用率;
(3)基于業(yè)務(wù)需求構(gòu)建數(shù)據(jù)模型,參與設(shè)計數(shù)據(jù)倉庫分層架構(gòu)(ODS/DWD/DWS/ADS);
3、系統(tǒng)優(yōu)化與技術(shù)攻關(guān):
(1)分析大數(shù)據(jù)系統(tǒng)性能瓶頸,優(yōu)化作業(yè)調(diào)度、資源分配與任務(wù)執(zhí)行效率;
(2)解決大數(shù)據(jù)開發(fā)中的技術(shù)難題(如數(shù)據(jù)傾斜、內(nèi)存溢出、分布式事務(wù)等);
(3)跟蹤大數(shù)據(jù)技術(shù)前沿,推動新技術(shù)(如實(shí)時計算、湖倉一體)在項目中的落地;
4、數(shù)據(jù)可視化與協(xié)作:
(1)開發(fā)數(shù)據(jù)可視化組件與報表系統(tǒng),支撐業(yè)務(wù)決策(如 Tableau、Superset 集成);
(2)與數(shù)據(jù)挖掘、算法團(tuán)隊協(xié)作,提供高效的數(shù)據(jù)處理接口與計算服務(wù);
(3)依據(jù)開發(fā)規(guī)范編寫技術(shù)文檔,確保團(tuán)隊開發(fā)質(zhì)量與協(xié)作效率;
5、業(yè)務(wù)支撐與落地
(1)深入理解業(yè)務(wù)需求(如彩票業(yè)務(wù)、營銷分析、風(fēng)控場景),設(shè)計數(shù)據(jù)解決方案;
(2)基于業(yè)務(wù)場景優(yōu)化數(shù)據(jù)模型,提升數(shù)據(jù)服務(wù)的響應(yīng)速度與準(zhǔn)確性;
(3)參與業(yè)務(wù)需求評審,提供數(shù)據(jù)層面的技術(shù)可行性建議;
任職條件
1、教育程度:計算機(jī)、數(shù)學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè);本科及以上學(xué)歷。
2、工作經(jīng)驗:具備5年及以上專業(yè)工作經(jīng)驗。
3、專業(yè)知識:
(1)精通 Java/Scala 編程,熟悉分布式系統(tǒng)原理(CAP 定理、BASE理論);
(2) 深入理解Hadoop/Spark/Flink生態(tài),掌握HDFS、YARN、Flink 等核心組件;
(3) 熟悉數(shù)據(jù)倉庫理論,掌握 Hive、HBase、ClickHouse 等存儲技術(shù);
(4)熟悉 Kafka、Flume、NiFi 等數(shù)據(jù)采集工具,掌握數(shù)據(jù)同步與集成方案。
4、技能要求:
(1)熟練使用Spark/Flink進(jìn)行批量/流式數(shù)據(jù)處理,具備實(shí)時計算經(jīng)驗;
(2)掌握DolphonScheduler/Azkaban 等工作流調(diào)度工具,熟悉分布式任務(wù)調(diào)度機(jī)制;
(3)具備大數(shù)據(jù)系統(tǒng)性能調(diào)優(yōu)能力(如JVM 調(diào)優(yōu)、資源隊列配置、任務(wù)并行度優(yōu)化);
(4)熟悉Docker/Kubernetes容器化部署,具備大數(shù)據(jù)平臺運(yùn)維經(jīng)驗;
(5)掌握Git、Maven 等開發(fā)工具,熟悉 CI/CD 流程與代碼管理規(guī)范。
5、核心能力素質(zhì):
(1)具有較強(qiáng)的學(xué)習(xí)能力、創(chuàng)新能力、邏輯思維能力、團(tuán)隊協(xié)作能力、溝通協(xié)調(diào)能力、抗壓能力;
(2)具備求知欲、責(zé)任心、進(jìn)取心、鉆研精神、嚴(yán)謹(jǐn)?shù)人刭|(zhì)。