崗位職責(zé):
1、負責(zé)跨系統(tǒng)ETL流程的設(shè)計與開發(fā),處理多數(shù)據(jù)源整合及復(fù)雜業(yè)務(wù)轉(zhuǎn)換邏輯;
2、主導(dǎo)流批一體數(shù)據(jù)任務(wù)的開發(fā)與維護,包括基于Flink的實時處理與基于Spark的離線計算任務(wù);
3、對ETL任務(wù)進行性能調(diào)優(yōu),解決數(shù)據(jù)傾斜、內(nèi)存溢出等問題,保障任務(wù)穩(wěn)定高效運行;
4、設(shè)計并實施數(shù)據(jù)質(zhì)量校驗規(guī)則與監(jiān)控方案,確保數(shù)據(jù)處理過程的準確性與可靠性;
5、參與數(shù)據(jù)倉庫建模與開發(fā),基于Hive、ClickHouse等組件進行數(shù)據(jù)分層設(shè)計與應(yīng)用支持;
6、協(xié)助構(gòu)建和維護數(shù)據(jù)血緣追蹤體系,推動元數(shù)據(jù)管理工具(如Atlas/DataHub)的落地與應(yīng)用。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計算機、數(shù)學(xué)或相關(guān)專業(yè),具備3年以上大數(shù)據(jù)或ETL開發(fā)經(jīng)驗;
2、具備TB級數(shù)據(jù)處理平臺項目經(jīng)驗,能夠獨立完成復(fù)雜ETL流程的設(shè)計與開發(fā);
3、精通Spark、Flink計算引擎,掌握其核心調(diào)優(yōu)方法與參數(shù)配置;
4、熟練使用Kafka構(gòu)建數(shù)據(jù)管道,具備數(shù)據(jù)倉庫開發(fā)經(jīng)驗,熟悉Hive、ClickHouse等組件的使用與優(yōu)化;
5、熟悉數(shù)據(jù)質(zhì)量管理方法論,有數(shù)據(jù)校驗、監(jiān)控報警等相關(guān)實踐經(jīng)歷;
6、了解數(shù)據(jù)治理相關(guān)工具與理念,具備數(shù)據(jù)血緣追蹤或元數(shù)據(jù)管理項目經(jīng)驗者優(yōu)先;
7、具備多語言編程能力(如 Go/Rust/Python 等)者優(yōu)先。