1、設(shè)計并落地湖倉一體技術(shù)架構(gòu),支持 ?PB級數(shù)據(jù)存儲?和毫秒級實時分析?,融合數(shù)據(jù)湖(Hudi/Iceberg)與數(shù)據(jù)倉庫(Doris/ClickHouse)能力。
2、解決高并發(fā)寫入?(如每秒百萬級訂單)、?ACID事務(wù)一致性?和?跨引擎查詢優(yōu)化?等核心問題。
3、規(guī)劃 ?容災(zāi)多活架構(gòu)?,支持跨地域數(shù)據(jù)同步與故障自動切換(如基于Flink CDC的實時同步)。
4、評估并落地實時湖倉技術(shù)棧(如Flink+Hudi/Iceberg),優(yōu)化存儲與計算性能?。
5、構(gòu)建全鏈路監(jiān)控工具,保障系統(tǒng)高可用性,主導(dǎo)技術(shù)評估與性能優(yōu)化?。
6、構(gòu)建?數(shù)據(jù)血緣?和質(zhì)量監(jiān)控?體系,保障數(shù)據(jù)一致性(如通過Great Expectations)。
7、主導(dǎo)技術(shù)規(guī)范制定,推動云原生?(K8s+Serverless)和存算分離? 架構(gòu)演進。
8、跟蹤?向量化計算?、?大模型數(shù)據(jù)湖?(如LlamaIndex集成)等前沿技術(shù)。
1、本科及以上學(xué)歷,要求5年及以上開發(fā)經(jīng)驗。
2、精通Java/Scala/Python,熟悉Spring Cloud、分布式事務(wù)及JVM調(diào)優(yōu)?。
3、熟悉HDFS、Kafka、OLAP引擎(Doris/Presto)及容器化技術(shù)(Docker/K8s)?。
4、熟悉Flink/Spark(流批一體)、Doris/ClickHouse(OLAP)。
5、熟悉Airflow/DolphinScheduler、K8s容器化部署。
6、熟悉CAP理論、一致性協(xié)議(Raft/Paxos)、JVM調(diào)優(yōu)。
7、跨團隊協(xié)作能力,主導(dǎo)技術(shù)規(guī)范制定與團隊技術(shù)提升?。
8、有衛(wèi)星業(yè)務(wù)系統(tǒng)、工業(yè)業(yè)務(wù)系統(tǒng)或AI Agent項目經(jīng)驗?為加分項。
9、主導(dǎo)過 ?10+人技術(shù)團隊?或千萬級用戶系統(tǒng)?架構(gòu)設(shè)計優(yōu)先。