崗位職責(zé):
1.負(fù)責(zé)仿真平臺(tái)海量調(diào)度數(shù)據(jù)的采集、清洗、轉(zhuǎn)換與加載(ETL)全流程開發(fā);
2.在ETL流程中內(nèi)置數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則,參與數(shù)據(jù)治理工作,保障數(shù)據(jù)血緣清晰、數(shù)據(jù)資產(chǎn)可管理;
3.配置和管理ETL任務(wù)的調(diào)度,使用Flink等調(diào)度框架,監(jiān)控日常數(shù)據(jù)流程的運(yùn)行狀態(tài)和性能,及時(shí)排查并修復(fù)故障,保證數(shù)據(jù)按時(shí)、準(zhǔn)確產(chǎn)出;
4.優(yōu)化SQL和任務(wù)調(diào)度,提升ETL作業(yè)性能與資源利用率。
任職要求:
1.計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷;
2.3年以上大數(shù)據(jù)ETL開發(fā)經(jīng)驗(yàn),有大型數(shù)據(jù)倉庫或數(shù)據(jù)平臺(tái)項(xiàng)目實(shí)踐經(jīng)驗(yàn);
3.精通SQL、大數(shù)據(jù)處理引擎和調(diào)度工具;
4.熟練掌握 Python 、Java、Scala 中的至少一種,能夠用于腳本編寫或數(shù)據(jù)處理;
5.有 Flink開發(fā)經(jīng)驗(yàn)者優(yōu)先。