一、崗位職責:
1. 主導基于云原生(K8s+ECS)的高并發(fā)、低延遲大數(shù)據(jù)平臺架構設計與驗證,支撐智營平臺的實時數(shù)據(jù)分析、用戶畫像、AI智能分析、業(yè)務自動化等場景;
2. 主導規(guī)劃數(shù)據(jù)分層架構(ODS/DWD/DWB/DWS/ADS),設計流批一體解決方案(如:Flink+ Kafka + ClickHouse/ByteHouse);
3. 主導負責構建平臺技術核心骨骼系統(tǒng),構建實時數(shù)據(jù)管道,如基于Flink實現(xiàn)復雜事件處理(CEP)、實時ETL及流式聚合,主導ClickHouse/ByteHouse集群部署、性能調(diào)優(yōu)與高可用設計,設計數(shù)據(jù)湖倉一體方案,如整合對象存儲(如:營銷素材)與云數(shù)倉;
4. 主導性能與成本優(yōu)化,主導PB級數(shù)據(jù)場景的查詢優(yōu)化(如ClickHouse物化視圖、分布式表設計),實現(xiàn)資源彈性調(diào)度(K8s+HPA),平衡計算資源成本與SLA要求;
5. 主導技術風險管控,制定數(shù)據(jù)治理標準(元數(shù)據(jù)管理、數(shù)據(jù)血緣、質量監(jiān)控),落地數(shù)據(jù)合規(guī)方案,設計災備與回溯方案;
6. 跨團隊協(xié)同,與AI團隊協(xié)作設計特征工程平臺與模型服務架構(如Flink ML + 模型在線服務),為業(yè)務部門提供實時數(shù)據(jù)API服務。
二、任職要求:
1. 至少5年以上大數(shù)據(jù)架構經(jīng)驗,至少2個完整的大數(shù)據(jù)平臺從0到1建設案例;
2. 能用架構圖清晰表達復雜系統(tǒng)(數(shù)據(jù)流向、容災設計、安全邊界),具備技術選型論證能力(如對比StarRocks vs ClickHouse),擅長編寫技術白皮書/SOP文檔,推動研發(fā)規(guī)范落地;
3. 精通流處理:Flink(必須掌握State管理、Checkpoint機制)、Kafka(ISR機制優(yōu)化);
4. 精通云數(shù)倉:ClickHouse(MergeTree引擎優(yōu)化)、ByteHouse(云原生特性);
5. 精通云服務:K8s(Helm/Operator部署)、如火山引擎等大數(shù)據(jù)服務;
6. 精通數(shù)據(jù)集成:Airflow/DolphinScheduler、Debezium/CDC工具;
7. 有ClickHouse百億級數(shù)據(jù)集查詢優(yōu)化經(jīng)驗(索引設計、JOIN策略優(yōu)化);
8. 熟悉Flink反壓處理、Kafka分區(qū)再平衡、K8s資源配額管理等調(diào)優(yōu)場景;
9. 具備K8s化大數(shù)據(jù)組件部署經(jīng)驗(如Flink
on K8s、Prometheus監(jiān)控告警);
10. 熟悉Serverless架構在數(shù)據(jù)場景的應用(如Flink
Serverless化);
11. 有智能營銷平臺(用戶行為分析、實時推薦)架構經(jīng)驗者,主導過ByteHouse替代傳統(tǒng)數(shù)倉(如Hive)的遷移項目者,熟悉GPU加速查詢(如ClickHouse GPU支持)或向量數(shù)據(jù)庫集成者,優(yōu)先考慮。
12. 有團隊管理經(jīng)驗者優(yōu)先考慮。