主導(dǎo)大數(shù)據(jù)平臺(tái)(Hadoop/Spark/Flink)的架構(gòu)設(shè)計(jì)、搭建與優(yōu)化;
設(shè)計(jì)并實(shí)現(xiàn)高可靠、高吞吐的數(shù)據(jù)采集、清洗、存儲(chǔ)、計(jì)算pipeline;
負(fù)責(zé)數(shù)據(jù)治理(數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全)體系搭建與落地;
支撐業(yè)務(wù)數(shù)據(jù)需求,提供數(shù)據(jù)建模、數(shù)據(jù)服務(wù)等解決方案;
帶領(lǐng)數(shù)據(jù)工程團(tuán)隊(duì),優(yōu)化研發(fā)流程,提升團(tuán)隊(duì)效率。
崗位要求:本科及以上,計(jì)算機(jī)/統(tǒng)計(jì)相關(guān)專業(yè),6年及以上數(shù)據(jù)工程經(jīng)驗(yàn),3年及以上大數(shù)據(jù)平臺(tái)搭建經(jīng)驗(yàn);
1.精通至少1種大數(shù)據(jù)計(jì)算框架(Spark/Flink),熟悉數(shù)據(jù)倉(cāng)庫(kù)建模(Kimball/Dimension);
2.主導(dǎo)過 TB 級(jí)以上數(shù)據(jù)處理項(xiàng)目。
軟性能力:邏輯思維清晰,跨部門需求對(duì)接能力強(qiáng),注重?cái)?shù)據(jù)質(zhì)量與效率。