職位描述:
1.參與設(shè)計(jì)并開(kāi)發(fā)企業(yè)級(jí)數(shù)據(jù)平臺(tái)與技術(shù)架構(gòu)。負(fù)責(zé)構(gòu)建高性能、高可用的數(shù)據(jù)集成、數(shù)據(jù)處理(ETL/ELT)與數(shù)據(jù)服務(wù)管道,確保平臺(tái)能滿足各業(yè)務(wù)部門日益增長(zhǎng)的數(shù)據(jù)需求;
2.負(fù)責(zé)將來(lái)自不同業(yè)務(wù)系統(tǒng)(新藥研發(fā)、安全生產(chǎn)、智能制造、財(cái)務(wù)、營(yíng)銷等)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合、清洗和轉(zhuǎn)換,形成統(tǒng)一、干凈、可信的數(shù)據(jù)資產(chǎn);
3.基于業(yè)務(wù)需求設(shè)計(jì)并實(shí)施數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖的數(shù)據(jù)模型。負(fù)責(zé)核心數(shù)據(jù)資產(chǎn)的建模、文檔化和治理,確保數(shù)據(jù)的準(zhǔn)確性與一致性;
4.解決數(shù)據(jù)開(kāi)發(fā)過(guò)程中的核心技術(shù)難題,持續(xù)優(yōu)化數(shù)據(jù)管道性能與成本。與業(yè)務(wù)部門(如研發(fā)、生產(chǎn))緊密協(xié)作,理解其需求,并提供高質(zhì)量的數(shù)據(jù)支持。
任職要求:
1.精通數(shù)據(jù)倉(cāng)庫(kù)理論與數(shù)據(jù)建模方法。深入理解大數(shù)據(jù)生態(tài)(如Hadoop/Spark)、分布式計(jì)算原理和現(xiàn)代數(shù)據(jù)架構(gòu)(數(shù)據(jù)湖、湖倉(cāng)一體);
2.精通SQL, Python,Java,Scala;熟練使用Spark, Flink;
3.出色的數(shù)據(jù)架構(gòu)設(shè)計(jì)能力、復(fù)雜邏輯的編程實(shí)現(xiàn)能力、數(shù)據(jù)管道性能調(diào)優(yōu)能力、強(qiáng)烈的質(zhì)量意識(shí)和團(tuán)隊(duì)協(xié)作精神;
4.熟練使用英語(yǔ),能夠無(wú)障礙閱讀英文論文和技術(shù)文檔。