崗位職責(zé):
1、負(fù)責(zé)跨系統(tǒng)ETL流程的設(shè)計(jì)與開發(fā),處理多數(shù)據(jù)源整合及復(fù)雜業(yè)務(wù)轉(zhuǎn)換邏輯;
2、主導(dǎo)流批一體數(shù)據(jù)任務(wù)的開發(fā)與維護(hù),包括基于Flink的實(shí)時(shí)處理與基于Spark的離線計(jì)算任務(wù);
3、對(duì)ETL任務(wù)進(jìn)行性能調(diào)優(yōu),解決數(shù)據(jù)傾斜、內(nèi)存溢出等問題,保障任務(wù)穩(wěn)定高效運(yùn)行;
4、設(shè)計(jì)并實(shí)施數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則與監(jiān)控方案,確保數(shù)據(jù)處理過程的準(zhǔn)確性與可靠性;
5、參與數(shù)據(jù)倉庫建模與開發(fā),基于Hive、ClickHouse等組件進(jìn)行數(shù)據(jù)分層設(shè)計(jì)與應(yīng)用支持;
6、協(xié)助構(gòu)建和維護(hù)數(shù)據(jù)血緣追蹤體系,推動(dòng)元數(shù)據(jù)管理工具(如Atlas/DataHub)的落地與應(yīng)用。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)、數(shù)學(xué)或相關(guān)專業(yè),具備3年以上大數(shù)據(jù)或ETL開發(fā)經(jīng)驗(yàn);
2、具備TB級(jí)數(shù)據(jù)處理平臺(tái)項(xiàng)目經(jīng)驗(yàn),能夠獨(dú)立完成復(fù)雜ETL流程的設(shè)計(jì)與開發(fā);
3、精通Spark、Flink計(jì)算引擎,掌握其核心調(diào)優(yōu)方法與參數(shù)配置;
4、熟練使用Kafka構(gòu)建數(shù)據(jù)管道,具備數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn),熟悉Hive、ClickHouse等組件的使用與優(yōu)化;
5、熟悉數(shù)據(jù)質(zhì)量管理方法論,有數(shù)據(jù)校驗(yàn)、監(jiān)控報(bào)警等相關(guān)實(shí)踐經(jīng)歷;
6、了解數(shù)據(jù)治理相關(guān)工具與理念,具備數(shù)據(jù)血緣追蹤或元數(shù)據(jù)管理項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
7、具備多語言編程能力(如 Go/Rust/Python 等)者優(yōu)先。