崗位職責:
1.數據同步與ETL開發(fā): 負責設計、開發(fā)、測試和維護數據同步、抽取、轉換和加載(ETL)流程,確保數據高效、準確、穩(wěn)定地從源系統(tǒng)流向目標系統(tǒng)。
2.數據同步通道部署與運維: 負責使用OGG、DSG等數據同步工具進行通道的部署、配置、監(jiān)控、調優(yōu)和故障處理,保障數據同步通道的穩(wěn)定運行。
3.日常數據開發(fā)與運維: 使用Python、Java等編程語言進行日常數據開發(fā)任務(如腳本編寫、自動化任務開發(fā))和數據運維工作(如數據質量檢查、任務監(jiān)控、問題排查)。
4.數據庫開發(fā)與操作: 熟練編寫和優(yōu)化SQL腳本,基于Greenplum、Oracle、MySQL、PostgreSQL等主流數據庫進行數據查詢、分析、轉換和存儲過程開發(fā)等。
5.數據運維程序開發(fā):根據業(yè)務需求,開發(fā)數據清洗、轉換、入庫等相關的運維程序和工具,提升數據處理效率和自動化水平。
6.數據質量保障:參與數據清洗規(guī)則的制定與實施,確保入庫數據的準確性、完整性和一致性。
任職要求:
1.工作經驗:
- 3年以上數據開發(fā)相關工作經驗。
- 具備以下經驗優(yōu)先:
1)有使用 OGG (Oracle GoldenGate) 或 DSG 等數據同步工具的實際部署、配置或運維經驗。
2)了解ETL工具(如 Informatica, DataStage, Kettle 等)或調度工具(如 Airflow, DolphinScheduler 等)。
2.技術能力:
- 熟練掌握 Python 和 Shell 腳本編程,能夠獨立完成開發(fā)任務。
- 精通 SQL 語言,具備復雜查詢、性能調優(yōu)、存儲過程編寫等能力。
- 熟練使用至少兩種主流數據庫(Greenplum, Oracle, MySQL, PostgreSQL)進行開發(fā)、管理和優(yōu)化,理解其核心架構與特性。
- 了解至少一種國產或新興數據庫(如 OceanBase, TiDB, 人大金倉(KingbaseES))的基本原理和使用方式。
- 熟悉 Linux 操作系統(tǒng)(如 CentOS, RedHat, Ubuntu 等),掌握常用命令、系統(tǒng)管理、環(huán)境配置和腳本執(zhí)行。
- 加分項 (非必需,但優(yōu)先考慮):
1)具備一定的 Java 開發(fā)能力。
2)熟悉數據倉庫建模理論(如維度建模)。
3)有大數據生態(tài)組件(如 Hive, Spark, HDFS 等)的使用經驗。
4)了解容器化技術(Docker, Kubernetes)。
3.其他要求:
- 具備良好的學習能力、分析問題和解決問題的能力。
- 工作認真負責,有較強的責任心和團隊協(xié)作精神,能承受一定的工作壓力。
- 具備良好的溝通能力,能夠清晰表達技術方案和問題。