崗位職責(zé):
1、參與數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)的環(huán)境搭建、架構(gòu)設(shè)計(jì)、監(jiān)控和優(yōu)化;
2、負(fù)責(zé)離線(xiàn)和在線(xiàn)數(shù)據(jù)的采集、清洗和加載;
3、負(fù)責(zé)分布式批量數(shù)據(jù)處理、分布式內(nèi)存計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)OLAP類(lèi)查詢(xún)統(tǒng)計(jì)等離線(xiàn)計(jì)算;
4、參與實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)處理、查詢(xún)統(tǒng)計(jì)和分析預(yù)測(cè)等在線(xiàn)計(jì)算;
5、基于公司業(yè)務(wù)構(gòu)建合適的模型算法;
任職資格:
1、計(jì)算機(jī)軟件及相關(guān)專(zhuān)業(yè)本科學(xué)歷以上;
2、2年以上的大數(shù)據(jù)處理、數(shù)據(jù)挖掘等相關(guān)領(lǐng)域的科研/開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉分布式OLAP,精通Python或Scala,熟練掌握shell編程,有實(shí)際經(jīng)驗(yàn)項(xiàng)目?jī)?yōu)先;
4、熟練掌握Hadoop、Spark、Flink等大數(shù)據(jù)計(jì)算技術(shù),并在中大型項(xiàng)目中有相關(guān)實(shí)際經(jīng)驗(yàn);
5、熟練掌握presto、Spark SQL、Drill等大數(shù)據(jù)即時(shí)查詢(xún)技術(shù),并有TroubleShooting的實(shí)際經(jīng)驗(yàn);
6、精通SQL,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn),熟悉常用的sql分析函數(shù),有PostgresSQL數(shù)據(jù)庫(kù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;
7、很強(qiáng)的自我驅(qū)動(dòng)力、結(jié)果導(dǎo)向并極具責(zé)任感;
8、有良好溝通能力和團(tuán)隊(duì)協(xié)作精神;
9、對(duì)新興技術(shù)有好奇心,有利用技術(shù)解決實(shí)際問(wèn)題的熱情。
福利待遇:周末雙休、五險(xiǎn)一金、法定節(jié)假日及福利;