崗位職責(zé):
1、業(yè)務(wù)數(shù)據(jù)分析、調(diào)研及數(shù)據(jù)采集;
2、大數(shù)據(jù)平臺(tái)的數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ);
3、持續(xù)跟蹤大數(shù)據(jù)平臺(tái)運(yùn)行情況,監(jiān)控?cái)?shù)據(jù)同步鏈路,處理各類異常和故障;
4、數(shù)據(jù)治理相關(guān)開(kāi)源項(xiàng)目產(chǎn)品的部署安裝、性能調(diào)優(yōu)和監(jiān)控;
5、參與集團(tuán)數(shù)據(jù)標(biāo)準(zhǔn)制定與規(guī)范建設(shè);
6、完成集團(tuán)數(shù)據(jù)中臺(tái)及協(xié)助與支持各數(shù)源方按照相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范完成數(shù)據(jù)治理各項(xiàng)制度的落地及執(zhí)行效果評(píng)估(包括元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)管理等)。
崗位要求:
1、熟悉Oracle、MySQL等相關(guān)數(shù)據(jù)庫(kù)及相關(guān)配套工具,熟悉SQL語(yǔ)言;
2、熟悉java,熟悉Linux操作系統(tǒng);
3、熟悉Mapreduce、Redis、Kafka、Flink、spark等大數(shù)據(jù)組件的應(yīng)用場(chǎng)景和配置規(guī)則;
4、了解大數(shù)據(jù)處理的流計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)等相關(guān)技術(shù);
5、了解容器、虛擬化、微服務(wù)框架等相關(guān)技術(shù);
6、能接受出差,溝通能力良好,能夠獨(dú)立排查和處理問(wèn)題。