1、負(fù)責(zé)多數(shù)據(jù)源全量/增量抽取、數(shù)據(jù)轉(zhuǎn)換及分層加載等數(shù)據(jù)開發(fā)工作,滿足業(yè)務(wù)需求
2、配置ETL作業(yè)自動(dòng)化調(diào)度,監(jiān)控運(yùn)行狀態(tài),及ETL運(yùn)維工作,優(yōu)化故障作業(yè)并處理日常問題。
3、使用ETL工具或編程語言實(shí)現(xiàn)轉(zhuǎn)換邏輯開發(fā),確保業(yè)務(wù)規(guī)則準(zhǔn)確落地,數(shù)據(jù)質(zhì)量符合業(yè)務(wù)要求。
4、負(fù)責(zé)編寫完善項(xiàng)目的技術(shù)文檔,包括ETL設(shè)計(jì)文檔、作業(yè)運(yùn)維手冊、問題排查手冊、數(shù)據(jù)字典等。
5、完成項(xiàng)目組交辦的其他工作任務(wù)。
1、3年以上ETL開發(fā)及數(shù)據(jù)處理相關(guān)工作經(jīng)驗(yàn),或至少參與過3個(gè)以上完整項(xiàng)目的設(shè)計(jì)、開發(fā)、測試及實(shí)施經(jīng)驗(yàn)。
2、熟練使用關(guān)系型數(shù)據(jù)庫,如高斯、MySQL、PostgreSQL、Greenplum等其中的一種或多種,熟悉數(shù)據(jù)庫原理。
3、了解非關(guān)系型數(shù)據(jù)庫,如Hive、HBase等,熟悉大數(shù)據(jù)生態(tài)相關(guān)技術(shù)(Hadoop、Spark),能處理海量數(shù)據(jù)的ETL作業(yè)開發(fā)與優(yōu)化。
4、具備扎實(shí)的SQL編寫能力及調(diào)優(yōu)能力,熟悉Linux命令,熟練掌握Shell腳本語言,通過腳本實(shí)現(xiàn)ETL作業(yè)的自動(dòng)化調(diào)度、日志分析、異常告警及批量數(shù)據(jù)處理。
5、具備強(qiáng)烈的責(zé)任心,能快速適應(yīng)業(yè)務(wù)及技術(shù)架構(gòu)的調(diào)整,具備獨(dú)立完成ETL項(xiàng)目模塊開發(fā)、測試及上線的能力。
具備信創(chuàng)項(xiàng)目適配開發(fā)經(jīng)驗(yàn)者優(yōu)先。