崗位職責(zé)
一、數(shù)據(jù)清洗與治理
1. 負(fù)責(zé)分庫分表環(huán)境下MySQL數(shù)據(jù)清洗、轉(zhuǎn)換及遷移工作,確保數(shù)據(jù)準(zhǔn)確性、一致性和完整性。
2. 設(shè)計并實現(xiàn)高效的數(shù)據(jù)清洗邏輯,處理異常數(shù)據(jù)、重復(fù)數(shù)據(jù)、缺失值等質(zhì)量問題。
3. 優(yōu)化數(shù)據(jù)清洗流程,提升處理效率,降低對線上業(yè)務(wù)的影響。
二、分庫分表架構(gòu)支持
1. 熟悉ShardingSphere、MyCat等分庫分表中間件,參與分庫分表策略的設(shè)計與優(yōu)化。
2. 解決分庫分表環(huán)境下的數(shù)據(jù)路由、跨庫JOIN、分布式事務(wù)等技術(shù)問題。
三、系統(tǒng)開發(fā)與維護(hù)
1. 開發(fā)數(shù)據(jù)清洗工具或平臺,支持批量/實時數(shù)據(jù)清洗需求。
2. 編寫高質(zhì)量Java代碼,完成單元測試及性能調(diào)優(yōu),保障系統(tǒng)穩(wěn)定性。
3. 配合運維團(tuán)隊監(jiān)控數(shù)據(jù)清洗任務(wù),快速定位并解決故障。
四、協(xié)作與優(yōu)化
1. 與數(shù)據(jù)分析、業(yè)務(wù)團(tuán)隊溝通,明確數(shù)據(jù)清洗需求,輸出技術(shù)方案文檔。
2. 持續(xù)優(yōu)化數(shù)據(jù)清洗流程,推動數(shù)據(jù)治理體系完善。
任職要求
一、技術(shù)能力
1. 本科及以上學(xué)歷,計算機相關(guān)專業(yè),3年以上Java開發(fā)經(jīng)驗。
2. 精通Java多線程、集合框架、JVM調(diào)優(yōu),熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL數(shù)據(jù)庫原理,熟悉索引優(yōu)化、SQL調(diào)優(yōu)、事務(wù)隔離機制。
4. 具備分庫分表實際項目經(jīng)驗,熟悉ShardingSphere/MyCat/Vitess等中間件。
5. 掌握數(shù)據(jù)清洗方法(ETL、正則表達(dá)式、模糊匹配等),熟悉Kettle/DataX等工具者優(yōu)先。
二、問題解決能力
1. 能獨立分析分庫分表環(huán)境下的數(shù)據(jù)一致性問題,提出解決方案并落地。
2. 熟悉分布式事務(wù)(Seata、TCC等)、分布式鎖等分布式系統(tǒng)技術(shù)。
三、軟性要求
1. 具備良好的溝通能力和團(tuán)隊協(xié)作精神,能承受一定工作壓力。
2. 對數(shù)據(jù)敏感,有較強的邏輯分析能力和問題排查能力。
四、加分項
1. 有大數(shù)據(jù)處理經(jīng)驗(Hadoop/Spark/Flink)。
2. 熟悉數(shù)據(jù)倉庫建模、數(shù)據(jù)治理(DQC)相關(guān)技術(shù)。
3. 有金融、電商等高并發(fā)場景下的數(shù)據(jù)清洗經(jīng)驗。