崗位職責(zé):
1. 負(fù)責(zé)數(shù)據(jù)產(chǎn)品的整體架構(gòu)設(shè)計(jì),制定技術(shù)選型和實(shí)施方案
2. 主導(dǎo)數(shù)據(jù)平臺(tái)的規(guī)劃、設(shè)計(jì)與開(kāi)發(fā),確保系統(tǒng)的高可用性、可擴(kuò)展性和穩(wěn)定性
3. 負(fù)責(zé)數(shù)據(jù)調(diào)度系統(tǒng)的架構(gòu)設(shè)計(jì)與優(yōu)化,提升數(shù)據(jù)處理效率
4. 設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)集成方案,支持多源異構(gòu)數(shù)據(jù)的采集、傳輸和同步
5. 參與核心技術(shù)問(wèn)題攻關(guān),解決復(fù)雜的技術(shù)難題
任職要求:
1. 本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程或相關(guān)專業(yè)
2. 5年以上工作經(jīng)驗(yàn)
3. 精通Java開(kāi)發(fā)
4. 熟悉大數(shù)據(jù)技術(shù),包括Hadoop、Spark、Flink、Kafka等組件
5. 熟悉分布式系統(tǒng)架構(gòu)和微服務(wù)架構(gòu)設(shè)計(jì)
6. 熟悉MySQL、PostgreSQL、Doris等數(shù)據(jù)庫(kù)
7. 具備良好的溝通協(xié)調(diào)能力和團(tuán)隊(duì)協(xié)作精神。
優(yōu)先條件:
1. 有Apache DolphinScheduler(海豚調(diào)度)使用或二次開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
2. 有Apache SeaTunnel使用或貢獻(xiàn)經(jīng)驗(yàn)者優(yōu)先
3. 有數(shù)據(jù)倉(cāng)庫(kù)建模和數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn)
4. 熟悉云原生技術(shù)(Docker、Kubernetes)