招聘職位:高級(jí)ETL開發(fā)工程師
我們正在尋找一位經(jīng)驗(yàn)豐富、穩(wěn)定的數(shù)據(jù)倉庫工程師,專注于財(cái)產(chǎn)險(xiǎn)業(yè)務(wù)領(lǐng)域。負(fù)責(zé)構(gòu)建和維護(hù)公司核心的、基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫平臺(tái)。該平臺(tái)不涉及大數(shù)據(jù)生態(tài),核心是基于Gbase/Postgresql數(shù)據(jù)庫的分層建模與ETL流程開發(fā)。
崗位職責(zé):
1.數(shù)據(jù)倉庫開發(fā)與維護(hù):負(fù)責(zé)財(cái)產(chǎn)險(xiǎn)數(shù)據(jù)倉庫的日常開發(fā)、維護(hù)與優(yōu)化,確保數(shù)據(jù)的準(zhǔn)確性、完整性和及時(shí)性。
2.ETL流程設(shè)計(jì):使用Python/Shell腳本,設(shè)計(jì)和開發(fā)從業(yè)務(wù)數(shù)倉到Gbase/Postgresql的增量及全量數(shù)據(jù)同步與落地流程。
3.數(shù)據(jù)分層加工:按照ODS、DWD、DWS、ADS等傳統(tǒng)數(shù)據(jù)分層理論,按照業(yè)務(wù)口徑進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換、整合和匯總加工。
4.腳本與存儲(chǔ)過程開發(fā):編寫和優(yōu)化Shell調(diào)度腳本、Python數(shù)據(jù)處理腳本以及數(shù)據(jù)庫存儲(chǔ)過程,完成復(fù)雜的數(shù)據(jù)加工邏輯。
5.數(shù)據(jù)流轉(zhuǎn)操作:負(fù)責(zé)數(shù)據(jù)的卸數(shù)、裝載、傳輸?shù)染唧w操作,并確保整個(gè)流程的高效與穩(wěn)定。
6.性能優(yōu)化:對數(shù)據(jù)庫SQL、存儲(chǔ)過程及ETL任務(wù)進(jìn)行監(jiān)控與性能調(diào)優(yōu),解決生產(chǎn)環(huán)境中出現(xiàn)的數(shù)據(jù)問題。
7.技術(shù)文檔編寫:撰寫詳細(xì)的技術(shù)設(shè)計(jì)、流程說明及運(yùn)維文檔。
任職要求:
學(xué)歷與經(jīng)驗(yàn):計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,學(xué)信網(wǎng)可查,具備5年及以上關(guān)系型數(shù)據(jù)倉庫(非大數(shù)據(jù)平臺(tái))開發(fā)經(jīng)驗(yàn)。有財(cái)產(chǎn)險(xiǎn)、車險(xiǎn)等金融保險(xiǎn)行業(yè)經(jīng)驗(yàn)者優(yōu)先。
核心技術(shù):
1.精通SQL,具備出色的SQL編寫和優(yōu)化能力,熟悉存儲(chǔ)過程、函數(shù)、觸發(fā)器的開發(fā)。
2.熟練掌握Python/Shell語言,有使用Python進(jìn)行數(shù)據(jù)庫連接和ETL腳本開發(fā)的實(shí)際項(xiàng)目經(jīng)驗(yàn)。
3.熟練編寫Shell腳本,具備使用Shell進(jìn)行任務(wù)調(diào)度和流程控制的能力。
4.熟練使用數(shù)據(jù)庫工具或第三方工具進(jìn)行數(shù)據(jù)遷移,包括業(yè)務(wù)腳本遷移。
數(shù)據(jù)庫知識(shí):
1.深刻理解傳統(tǒng)數(shù)據(jù)倉庫的分層建模理論(如Inmon或Kimball模型)。
2.具備Gbase, Teradata, Greenplum, Oracle, DB2 等至少一種主流關(guān)系型MPP或企業(yè)級(jí)數(shù)據(jù)庫的開發(fā)和管理經(jīng)驗(yàn)。
3.對數(shù)據(jù)庫的卸數(shù)、裝載等批量數(shù)據(jù)處理操作有深入理解。
優(yōu)先:
1.了解財(cái)產(chǎn)險(xiǎn)核心業(yè)務(wù)(如承保、理賠、再保等)及相關(guān)數(shù)據(jù)模型。
2.具備良好的責(zé)任心、團(tuán)隊(duì)協(xié)作精神和溝通能力,能夠承擔(dān)工作壓力,對數(shù)據(jù)質(zhì)量有高標(biāo)準(zhǔn)要求。
3.對框架重構(gòu)/執(zhí)行效率有優(yōu)化經(jīng)驗(yàn)。
4.熟悉不同數(shù)據(jù)庫的語法、特性。