崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)中臺(tái)相關(guān)組件的開(kāi)發(fā)工作;
2、制定數(shù)據(jù)治理方案,包括:數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范、數(shù)據(jù)挖掘以及數(shù)據(jù)服務(wù)等方案的制定;
3、維護(hù)部門(mén)級(jí)大數(shù)據(jù)數(shù)據(jù)規(guī)范,包括:數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)取值規(guī)范、數(shù)據(jù)共享規(guī)范等。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),工作年限5年以上,從事大數(shù)據(jù)工作3年以上;
2、熟練掌握Python、Java、Scala至少一門(mén)編程語(yǔ)言;
3、出色的業(yè)務(wù)學(xué)習(xí)能力、對(duì)于數(shù)據(jù)采集、加工、存儲(chǔ)、共享等數(shù)據(jù)架構(gòu)處理都需要把控,精通各類大數(shù)據(jù)技術(shù),如Hadoop、HBase、Hive、Kafka、Sqoop、flume、Spark、Sparkstream;掌握流處理技術(shù),有Flink落地經(jīng)驗(yàn)者優(yōu)先;
4、熟悉各類數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品,包括RDBMS(如Oracle、Sqlserver、Mysql)、No-SQL、時(shí)序庫(kù)等,具備優(yōu)化Sql的能力;
5、了解DevOps,了解Docker等概念;
6、了解常用的機(jī)器學(xué)習(xí)算法。