崗位職責:
1、設(shè)計并搭建企業(yè)級數(shù)據(jù)架構(gòu),包括數(shù)據(jù)倉庫、數(shù)據(jù)湖倉一體平臺,保障數(shù)據(jù)的可靠性、高效性和易用性;
2、主導數(shù)據(jù)集成、實時計算與流處理平臺的架構(gòu)設(shè)計,基于 Flink 構(gòu)建低延遲數(shù)據(jù)處理流水線。
任職要求:
1、計算機或相關(guān)專業(yè)本科及以上學歷,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗,3年以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗;
2、精通數(shù)據(jù)倉庫架構(gòu)設(shè)計與實踐,熟悉維度建模、數(shù)據(jù)分層等理念,具備PB級別海量數(shù)據(jù)場景實戰(zhàn)經(jīng)驗;
3、深入理解數(shù)據(jù)湖倉一體架構(gòu),熟悉 Paimon 或同類數(shù)據(jù)湖技術(shù),了解其與計算引擎的集成與優(yōu)化,精通 Flink 實時計算生態(tài),具備流批一體架構(gòu)設(shè)計與性能調(diào)優(yōu)經(jīng)驗,大數(shù)據(jù)平臺調(diào)優(yōu)經(jīng)驗(如算子、內(nèi)存、磁盤、CPU等)
4、熟悉以下技術(shù)棧的至少三項,并具備實際生產(chǎn)環(huán)境部署與優(yōu)化經(jīng)驗:MySQL、TiDB、Apache Doris、Paimon、Kafka、Fluss;
5、具備較強的Java/Scala編程能力,熟悉 Python 進行數(shù)據(jù)處理或工具開發(fā);
6、具備優(yōu)秀的邏輯思維、溝通能力和團隊協(xié)作精神,能主導跨部門技術(shù)項目。