一、崗位職責(zé):
1. 主導(dǎo)基于云原生(K8s+ECS)的高并發(fā)、低延遲大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)與驗(yàn)證,支撐智營(yíng)平臺(tái)的實(shí)時(shí)數(shù)據(jù)分析、用戶畫像、AI智能分析、業(yè)務(wù)自動(dòng)化等場(chǎng)景;
2. 主導(dǎo)規(guī)劃數(shù)據(jù)分層架構(gòu)(ODS/DWD/DWB/DWS/ADS),設(shè)計(jì)流批一體解決方案(如:Flink+ Kafka + ClickHouse/ByteHouse);
3. 主導(dǎo)負(fù)責(zé)構(gòu)建平臺(tái)技術(shù)核心骨骼系統(tǒng),構(gòu)建實(shí)時(shí)數(shù)據(jù)管道,如基于Flink實(shí)現(xiàn)復(fù)雜事件處理(CEP)、實(shí)時(shí)ETL及流式聚合,主導(dǎo)ClickHouse/ByteHouse集群部署、性能調(diào)優(yōu)與高可用設(shè)計(jì),設(shè)計(jì)數(shù)據(jù)湖倉(cāng)一體方案,如整合對(duì)象存儲(chǔ)(如:營(yíng)銷素材)與云數(shù)倉(cāng);
4. 主導(dǎo)性能與成本優(yōu)化,主導(dǎo)PB級(jí)數(shù)據(jù)場(chǎng)景的查詢優(yōu)化(如ClickHouse物化視圖、分布式表設(shè)計(jì)),實(shí)現(xiàn)資源彈性調(diào)度(K8s+HPA),平衡計(jì)算資源成本與SLA要求;
5. 主導(dǎo)技術(shù)風(fēng)險(xiǎn)管控,制定數(shù)據(jù)治理標(biāo)準(zhǔn)(元數(shù)據(jù)管理、數(shù)據(jù)血緣、質(zhì)量監(jiān)控),落地?cái)?shù)據(jù)合規(guī)方案,設(shè)計(jì)災(zāi)備與回溯方案;
6. 跨團(tuán)隊(duì)協(xié)同,與AI團(tuán)隊(duì)協(xié)作設(shè)計(jì)特征工程平臺(tái)與模型服務(wù)架構(gòu)(如Flink ML + 模型在線服務(wù)),為業(yè)務(wù)部門提供實(shí)時(shí)數(shù)據(jù)API服務(wù)。
二、任職要求:
1. 至少5年以上大數(shù)據(jù)架構(gòu)經(jīng)驗(yàn),至少2個(gè)完整的大數(shù)據(jù)平臺(tái)從0到1建設(shè)案例;
2. 能用架構(gòu)圖清晰表達(dá)復(fù)雜系統(tǒng)(數(shù)據(jù)流向、容災(zāi)設(shè)計(jì)、安全邊界),具備技術(shù)選型論證能力(如對(duì)比StarRocks vs ClickHouse),擅長(zhǎng)編寫技術(shù)白皮書/SOP文檔,推動(dòng)研發(fā)規(guī)范落地;
3. 精通流處理:Flink(必須掌握State管理、Checkpoint機(jī)制)、Kafka(ISR機(jī)制優(yōu)化);
4. 精通云數(shù)倉(cāng):ClickHouse(MergeTree引擎優(yōu)化)、ByteHouse(云原生特性);
5. 精通云服務(wù):K8s(Helm/Operator部署)、如火山引擎等大數(shù)據(jù)服務(wù);
6. 精通數(shù)據(jù)集成:Airflow/DolphinScheduler、Debezium/CDC工具;
7. 有ClickHouse百億級(jí)數(shù)據(jù)集查詢優(yōu)化經(jīng)驗(yàn)(索引設(shè)計(jì)、JOIN策略優(yōu)化);
8. 熟悉Flink反壓處理、Kafka分區(qū)再平衡、K8s資源配額管理等調(diào)優(yōu)場(chǎng)景;
9. 具備K8s化大數(shù)據(jù)組件部署經(jīng)驗(yàn)(如Flink
on K8s、Prometheus監(jiān)控告警);
10. 熟悉Serverless架構(gòu)在數(shù)據(jù)場(chǎng)景的應(yīng)用(如Flink
Serverless化);
11. 有智能營(yíng)銷平臺(tái)(用戶行為分析、實(shí)時(shí)推薦)架構(gòu)經(jīng)驗(yàn)者,主導(dǎo)過ByteHouse替代傳統(tǒng)數(shù)倉(cāng)(如Hive)的遷移項(xiàng)目者,熟悉GPU加速查詢(如ClickHouse GPU支持)或向量數(shù)據(jù)庫(kù)集成者,優(yōu)先考慮。
12. 有團(tuán)隊(duì)管理經(jīng)驗(yàn)者優(yōu)先考慮。