基本要求
1、計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷。
2、3年以上大數(shù)據(jù)開(kāi)發(fā)或數(shù)據(jù)倉(cāng)庫(kù)相關(guān)經(jīng)驗(yàn),熟練使用sql,有代碼調(diào)優(yōu)經(jīng)驗(yàn)
3、精通SQL(MySQL/Oracle/PostgreSQL等),熟悉Hive/HBase/Spark SQL。
4、邏輯清晰,能根據(jù)復(fù)雜業(yè)務(wù)場(chǎng)景設(shè)計(jì)底層數(shù)據(jù)搭建,有過(guò)數(shù)據(jù)開(kāi)發(fā)、腳本掛載、報(bào)表搭建等全流程經(jīng)驗(yàn)
5、對(duì)數(shù)據(jù)質(zhì)量和底層數(shù)據(jù)處理具有豐富的經(jīng)驗(yàn),能夠有效解決數(shù)據(jù)問(wèn)題
崗位職責(zé):
1、數(shù)據(jù)采集與清洗:負(fù)責(zé)數(shù)據(jù)的收集、清洗、轉(zhuǎn)換和規(guī)約,數(shù)據(jù)驗(yàn)證準(zhǔn)確性,確保數(shù)據(jù)質(zhì)量和一致性。
2、數(shù)據(jù)倉(cāng)庫(kù)與建模:設(shè)計(jì)并搭建海外數(shù)據(jù)倉(cāng)庫(kù),優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),支持高效查詢和分析。
3、數(shù)據(jù)分析與可視化:開(kāi)發(fā)數(shù)據(jù)報(bào)表、BI看板,支持業(yè)務(wù)決策。
4、運(yùn)維與優(yōu)化:監(jiān)控?cái)?shù)據(jù)任務(wù)運(yùn)行狀態(tài),定位問(wèn)題,優(yōu)化SQL查詢、MapReduce/Spark作業(yè)性能。