1、三年以上軟件行業(yè)從業(yè)經(jīng)驗(yàn),至少一年數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn)。
2、熟練使用SQL語(yǔ)言,熟練掌握MySQL等關(guān)系型數(shù)據(jù)庫(kù)的使用,有
一定的SQL性能調(diào)優(yōu)經(jīng)驗(yàn)。
3、熟練使用Kettle、DataX等ETL工具,熟悉Azkaban、DolpinScheduler、Oozie等任務(wù)調(diào)度工具。
4、熟悉Python語(yǔ)言,熟練使用數(shù)據(jù)分析常用的Python庫(kù),能夠使用Python替代SQL完成復(fù)雜邏輯數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)分析。
5、對(duì)數(shù)據(jù)治理思想有一定了解,能夠按照上級(jí)對(duì)數(shù)據(jù)的管理思路制訂可行的實(shí)施方案。
6、對(duì)以Hadoop核心的大數(shù)據(jù)技術(shù)有一定的了解。
工作內(nèi)容:
1、參與大數(shù)據(jù)平臺(tái)基礎(chǔ)能力建設(shè),承擔(dān)組件開(kāi)發(fā)、方案驗(yàn)證等工作;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)處理、數(shù)據(jù)計(jì)算、數(shù)據(jù)開(kāi)發(fā)。
3、負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)治理,推動(dòng)服務(wù)體系數(shù)據(jù)高質(zhì)量的精準(zhǔn)反映業(yè)務(wù)現(xiàn)狀及指標(biāo)水平;
4、負(fù)責(zé)創(chuàng)建并管理數(shù)據(jù)模型,包含數(shù)據(jù)模型業(yè)務(wù)邏輯關(guān)系、數(shù)據(jù)模型口徑、指標(biāo)體系、數(shù)據(jù)管理規(guī)范