崗位職責:
1、基于微服務架構與分布式系統(tǒng)設計理念,構建數(shù)據(jù)治理平臺架構;采用Docker容器化技術實現(xiàn)服務彈性伸縮與 DevOps流程集成;
2、負責設計跨源元數(shù)據(jù)采集管道與血緣分析引擎,構建規(guī)則驅動的自動化監(jiān)控與RBAC/ABAC權限治理體系、敏感數(shù)據(jù)脫敏等。
3、負責湖倉平臺建設,完成數(shù)據(jù)入湖和維度模型建設;
4、運用ETL工具(如 Kettle、DataStage)實現(xiàn)與各類內(nèi)外數(shù)據(jù)源(Mysql、Doris)的穩(wěn)定對接;
5、負責業(yè)務平臺的常態(tài)化維護,及時處理各類技術問題。
任職資格:
1、本科及以上學歷,計算機相關專業(yè),碩士研究生優(yōu)先;
2、具備3年及以上軟件開發(fā)經(jīng)驗,深入理解后端開發(fā)、平臺運維及數(shù)據(jù)治理相關工作;
3、熟悉Java微服務開發(fā)、Linux部署運維,具備快速掌握新技術及高效解決問題的能力;
4、精通Atlas、OpenMetadata等數(shù)據(jù)治理開源平臺功能邏輯,具備血緣解析與元數(shù)據(jù)建模實戰(zhàn)經(jīng)驗;
5、精通 MySQL、PostgreSQL 等關系型數(shù)據(jù)庫,以及 Doris等MPP分布式分析引擎;
6、精通Hadoop生態(tài)體系,熟練運用 Flink 實現(xiàn)流批一體化數(shù)據(jù)處理;
7、對數(shù)據(jù)治理技術有持續(xù)的熱情,具備良好的溝通能力和團隊協(xié)作精神;
8、具有良好的代碼習慣,遵循編碼規(guī)范、代碼可讀性強等。