崗位職責(zé)
- 負(fù)責(zé)MySQL分庫分表場景下的數(shù)據(jù)清洗、轉(zhuǎn)換與遷移,保障數(shù)據(jù)準(zhǔn)確、完整、一致。
- 設(shè)計(jì)并優(yōu)化數(shù)據(jù)清洗邏輯,解決異常、重復(fù)、缺失等質(zhì)量問題。
- 開發(fā)并維護(hù)數(shù)據(jù)清洗工具/平臺(tái),支持批量/實(shí)時(shí)需求;編寫高質(zhì)量Java代碼,完成單元測試與性能調(diào)優(yōu)。
- 協(xié)同業(yè)務(wù)、運(yùn)維團(tuán)隊(duì),監(jiān)控并快速恢復(fù)清洗任務(wù),推動(dòng)數(shù)據(jù)治理體系持續(xù)優(yōu)化。
任職要求
一、技術(shù)能力
1. 本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年以上Java開發(fā)經(jīng)驗(yàn),有一定的團(tuán)隊(duì)管理經(jīng)驗(yàn)。
2. 精通Java多線程、集合框架、JVM調(diào)優(yōu),熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL數(shù)據(jù)庫原理,熟悉索引優(yōu)化、SQL調(diào)優(yōu)、事務(wù)隔離機(jī)制。
4. 具備分庫分表實(shí)際項(xiàng)目經(jīng)驗(yàn),熟悉ShardingSphere/MyCat/Vitess等中間件。
5. 掌握數(shù)據(jù)清洗方法(ETL、正則表達(dá)式、模糊匹配等),熟悉Kettle/DataX等工具者優(yōu)先。
6.熟悉分布式事務(wù)(Seata、TCC等)、分布式鎖等分布式系統(tǒng)技術(shù)。
7.能獨(dú)立分析分庫分表環(huán)境下的數(shù)據(jù)一致性問題,提出解決方案并落地。
二、加分項(xiàng)
1. 有大數(shù)據(jù)處理經(jīng)驗(yàn)(Hadoop/Spark/Flink)。
2. 熟悉數(shù)據(jù)倉庫建模、數(shù)據(jù)治理(DQC)相關(guān)技術(shù)。
3. 有金融、電商等高并發(fā)場景下的數(shù)據(jù)清洗經(jīng)驗(yàn)。