崗位職責:
1. 參與大數(shù)據(jù)基礎(chǔ)平臺與數(shù)據(jù)倉庫的開發(fā)建設(shè),聚焦 Hadoop、Spark、Flink等大數(shù)據(jù)組件的二次開發(fā)、性能調(diào)優(yōu)及部署落地,通過技術(shù)優(yōu)化保障平臺高效穩(wěn)定運行;
2. 負責全鏈路數(shù)據(jù)處理工程的設(shè)計與開發(fā),涵蓋多源數(shù)據(jù)采集、清洗轉(zhuǎn)換及 ETL 流程搭建,建立數(shù)據(jù)質(zhì)量校驗與安全管控機制,確保數(shù)據(jù)鏈路可靠、合規(guī);
3. 主導(dǎo)數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)接口的設(shè)計、開發(fā)與迭代,構(gòu)建靈活可復(fù)用的數(shù)據(jù)服務(wù)能力,支撐業(yè)務(wù)端快速調(diào)用與需求響應(yīng);
4. 參與 BI 體系底層數(shù)據(jù)開發(fā),負責業(yè)務(wù)指標計算邏輯實現(xiàn)與優(yōu)化,為可視化分析提供精準、高效的數(shù)據(jù)支撐。
任職要求:
1. 本科以上學(xué)歷,計算機/數(shù)學(xué)/統(tǒng)計學(xué)等相關(guān)專業(yè);
2. 精通 Java/Scala/Python等至少一種編程語言,具備扎實的編碼能力與工程實踐經(jīng)驗,能獨立完成復(fù)雜模塊開發(fā);
3. 3-5大數(shù)據(jù)平臺、數(shù)據(jù)倉庫開發(fā)經(jīng)驗,熟悉 Hadoop、Spark、Flink、StarRocks 等技術(shù)棧,理解組件底層原理者優(yōu)先;
4. 具備海量數(shù)據(jù)(TB 級及以上)處理、數(shù)據(jù)建模及 ETL 開發(fā)實戰(zhàn)經(jīng)驗,能設(shè)計高效數(shù)據(jù)處理流程并解決性能瓶頸;
5. 精通 SQL,能編寫復(fù)雜查詢并通過優(yōu)化(如索引設(shè)計、執(zhí)行計劃調(diào)整)提升處理效率;
6. 有 ETL 調(diào)度平臺(如 Airflow,Dolphinscheduler)、數(shù)據(jù)治理系統(tǒng)開發(fā)經(jīng)驗,或熟悉 StarRocks 在實時 / 離線場景落地實踐的候選人優(yōu)先;
7. 了解數(shù)據(jù)中臺架構(gòu)設(shè)計(數(shù)據(jù)分層、服務(wù)化),具備大數(shù)據(jù)存儲優(yōu)化或可視化工具集成經(jīng)驗者優(yōu)先;
8. 具備快速學(xué)習能力、跨團隊溝通協(xié)調(diào)能力,邏輯清晰,能獨立拆解并解決實際技術(shù)問題。