崗位職責(zé):
1、負責(zé)公司離線及實時數(shù)據(jù)倉庫/數(shù)據(jù)湖的設(shè)計與開發(fā),保證所有數(shù)據(jù)實時抽取/匯聚到數(shù)據(jù)湖;
2、根據(jù)業(yè)務(wù)數(shù)據(jù)分析進行數(shù)倉數(shù)據(jù)模型的設(shè)計與開發(fā),與大數(shù)據(jù)和開發(fā)團隊協(xié)作進行數(shù)據(jù)底座平臺的設(shè)計和開發(fā)工作,推動業(yè)務(wù)部門的數(shù)據(jù)化運營;
3、為公司平臺所有系統(tǒng)級數(shù)據(jù)中臺提供數(shù)據(jù)集市和主題層的數(shù)據(jù)服務(wù),參與公司數(shù)據(jù)產(chǎn)品及應(yīng)用項目開發(fā)建設(shè);
任職要求:
1 、從事數(shù)據(jù)倉庫開發(fā)領(lǐng)域至少5年以上,熟悉數(shù)據(jù)倉庫模型設(shè)計與ETL開發(fā)經(jīng)驗,掌握維度建模設(shè)計方法,具備實時數(shù)倉架構(gòu)設(shè)計及開發(fā)相關(guān)經(jīng)驗;
2 、精通數(shù)據(jù)倉庫領(lǐng)域知識體系和技能,對數(shù)據(jù)采集、數(shù)據(jù)抽取、數(shù)倉分層架構(gòu)、數(shù)據(jù)湖架構(gòu)及應(yīng)用、湖倉一體的實時數(shù)倉的設(shè)計和實施有比較豐富的經(jīng)驗;
3、精通數(shù)據(jù)模型的設(shè)計,深入理解離線、實時數(shù)倉及流批一體架構(gòu)選型的技術(shù)特點,能夠根據(jù)業(yè)務(wù)要求選擇合適的技術(shù)棧,搭建符合公司平臺要求的數(shù)據(jù)底座基礎(chǔ)設(shè)施;
4、熟練掌握flink、kafka、spark、hive、hbase等流式/批式處理引擎或技術(shù);
5、精通SQL,有一定的SQL性能調(diào)優(yōu)經(jīng)驗,熟練掌握mysql等數(shù)據(jù)庫的應(yīng)用和接口開發(fā)優(yōu)化;
6、精通java/python/shell/Scala其中至少一門語言;
7、具有電商行業(yè)經(jīng)驗或者互聯(lián)網(wǎng)相關(guān)經(jīng)驗,有業(yè)務(wù)sense,能夠通過梳理設(shè)計數(shù)據(jù)模型發(fā)現(xiàn)開發(fā)及產(chǎn)品業(yè)務(wù)問題,并驅(qū)動業(yè)務(wù)目標實現(xiàn);
8、性格積極樂觀,誠信,積極分享成果,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神。