工作職責(zé):
1、參與業(yè)務(wù)數(shù)據(jù)資產(chǎn)的治理,對數(shù)倉的進行分層建設(shè);
2、多業(yè)務(wù)多種數(shù)據(jù)源數(shù)據(jù)接入、清洗以及加工;
3、數(shù)倉模型設(shè)計、ETL開發(fā)、IOT數(shù)據(jù)采集、大數(shù)據(jù)量下的性能調(diào)優(yōu),以及復(fù)雜業(yè)務(wù)場景下的需求交付;
4、調(diào)度平臺的作業(yè)運維及任務(wù)優(yōu)化,保證任務(wù)的及時性、準(zhǔn)確性。
任職資格
1、熟練使用java,scala,python 語言;
2、具備良好的SQL開發(fā)和性能調(diào)優(yōu)能力,具有良好的編程習(xí)慣和文檔編寫習(xí)慣;
3、了解常用的數(shù)據(jù)分析工具,有ETL開發(fā)、數(shù)據(jù)分析、建模等相關(guān)經(jīng)驗者優(yōu)先;
4、熟悉Doris 、kettle 等數(shù)倉建設(shè)工具。有大數(shù)據(jù)生態(tài)圈相關(guān)技術(shù)經(jīng)驗,包括hadoop,hive,hbase,spark。