1、負(fù)責(zé)完成“企業(yè)購(gòu)”、“易捷商城”等業(yè)務(wù)數(shù)據(jù)從PolarDB數(shù)據(jù)庫(kù)至集團(tuán)數(shù)據(jù)湖的遷移腳本開(kāi)發(fā)、任務(wù)配置與數(shù)據(jù)驗(yàn)證。
2、基于新的數(shù)據(jù)湖架構(gòu),進(jìn)行相關(guān)業(yè)務(wù)報(bào)表(如督導(dǎo)報(bào)表、到站運(yùn)營(yíng)報(bào)表)的重新開(kāi)發(fā)、性能優(yōu)化與日常運(yùn)維。
3、協(xié)助數(shù)據(jù)架構(gòu)師完成數(shù)據(jù)入湖流程的配置與調(diào)試,確保數(shù)據(jù)鏈路穩(wěn)定、高效。
4、響應(yīng)業(yè)務(wù)部門的數(shù)據(jù)查詢與分析需求,提供及時(shí)的數(shù)據(jù)支持。
(1)3年以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn),有互聯(lián)網(wǎng)或零售行業(yè)大數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
(2)有較為豐富數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和實(shí)踐經(jīng)驗(yàn),熟悉數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法論,熟悉大型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和模型設(shè)計(jì),包括但不限于:元數(shù)據(jù)管理、數(shù)據(jù)治理、性能調(diào)優(yōu)等;
(3)有mysql、oracle、hive等數(shù)據(jù)庫(kù)的開(kāi)發(fā)經(jīng)驗(yàn),熟悉Hadoop生態(tài)及相關(guān)技術(shù),精通HQL與Spark SQL開(kāi)發(fā),能夠基于Hive、Spark等分布式計(jì)算平臺(tái)進(jìn)行海量數(shù)據(jù)加工與處理,具備系統(tǒng)的性能調(diào)優(yōu)經(jīng)驗(yàn);
(4)具備較強(qiáng)的編程能力與實(shí)際項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)及相關(guān)主流開(kāi)發(fā)框架;
(5)強(qiáng)烈的責(zé)任心、團(tuán)隊(duì)精神和學(xué)習(xí)能力,善于溝通合作;善于思考,能獨(dú)立分析和解決問(wèn)題;
(6)有海量數(shù)據(jù)處理分析、OLAP系統(tǒng)開(kāi)發(fā)或零售行業(yè)數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先考慮。