核心職責 :
1. 參與數(shù)據(jù)中臺核心模塊的設計與開發(fā),包括數(shù)據(jù)集成、實時計算、元數(shù)據(jù)管理、數(shù)據(jù)服務API等;
2. 基于大數(shù)據(jù)生態(tài)技術棧構(gòu)建高并發(fā)、低延遲的數(shù)據(jù)處理管道;
3. 優(yōu)化數(shù)據(jù)存儲與查詢性能,保障平臺在PB級數(shù)據(jù)規(guī)模下的穩(wěn)定性;
4. 設計并實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控、血緣追蹤等數(shù)據(jù)治理功能;
5. 與數(shù)據(jù)科學家、分析師協(xié)作,提供可復用的數(shù)據(jù)服務能力。
任職要求 :
1. 學歷經(jīng)驗:本科及以上學歷,5年以上Java開發(fā)經(jīng)驗,2年以上大數(shù)據(jù)平臺相關項目二次研發(fā)經(jīng)驗;
2. 技術能力: - 熟悉數(shù)據(jù)中臺架構(gòu),具備二次開發(fā)能力(包括DolphinScheduler調(diào)度工具二次研發(fā)(必須),數(shù)據(jù)中臺開發(fā)、數(shù)據(jù)治理等設計理念); - 熟悉OLAP引擎(Doris(必須)、MongoDB、redis、ES等); - 理解數(shù)據(jù)治理體系(質(zhì)量、安全、血緣);
3. 工程素養(yǎng): - 熟練使用Git、CI/CD流程,具備模塊化設計與編碼規(guī)范意識; - 能編寫高可讀性技術文檔,有單元測試/集成測試實踐經(jīng)驗;
4. 軟技能:邏輯清晰,具備技術方案落地能力,善于跨團隊協(xié)作。