精通 Python 與 SQL,熟悉主流數(shù)據(jù)庫與分布式計算框架(如 Spark、
ClickHouse、Presto、Flink 等);
熟悉 數(shù)據(jù)編排工具(Airflow、Prefect、Argo等)與任務調(diào)度機制;
了解 云端與容器化環(huán)境(AWS、GCP、K8s、Docker);
具備數(shù)據(jù)質(zhì)量管理與自動化測試經(jīng)驗(如 Great Expectations、Soda、自研框架
等);
理解時間序列數(shù)據(jù)與特征滯后處理,熟悉版本化數(shù)據(jù)管理與數(shù)據(jù)契約概念;
具備基礎的Linux、Git、CI/CD 流程知識。
要求:
5年以上數(shù)據(jù)工程或數(shù)據(jù)平臺搭建經(jīng)驗;
至少2年技術團隊管理或項目負責人經(jīng)驗;
有復雜系統(tǒng)中構建高可用數(shù)據(jù)架構的成功案例;
熟悉多源異構數(shù)據(jù)治理與數(shù)據(jù)合規(guī)(隱私、版權、使用協(xié)議等)。