職位概述
該職位參與公司現(xiàn)有大數(shù)據(jù)平臺(tái)從本地傳統(tǒng)架構(gòu)向云上現(xiàn)代化湖倉(cāng)一體架構(gòu)的戰(zhàn)略遷移與升級(jí)。本崗位要求候選人不僅需深入掌握現(xiàn)有技術(shù)棧（Spark、Flink、Hadoop），還需具備保險(xiǎn)業(yè)務(wù)數(shù)據(jù)建模經(jīng)驗(yàn)，并能將復(fù)雜業(yè)務(wù)邏輯與新一代云原生數(shù)據(jù)平臺(tái)相結(jié)合，構(gòu)建高性能、可擴(kuò)展、低成本的數(shù)據(jù)底座。

【核心職責(zé)】
1. 主導(dǎo)技術(shù)平臺(tái)遷移與架構(gòu)升級(jí)
l 全面評(píng)估現(xiàn)有基于 Spark、Flink、Hadoop（HDFS/YARN）的大數(shù)據(jù)平臺(tái)，參與制定向云端湖倉(cāng)一體架構(gòu)遷移的整體技術(shù)方案、演進(jìn)路徑與風(fēng)險(xiǎn)管控策略。
l 負(fù)責(zé)現(xiàn)有數(shù)據(jù)處理作業(yè)（Spark/Flink任務(wù)）的優(yōu)化，確保其平滑遷移并高效運(yùn)行于云上計(jì)算存儲(chǔ)分離的新架構(gòu)。
l 保障遷移過(guò)程中數(shù)據(jù)服務(wù)的連續(xù)性、數(shù)據(jù)的準(zhǔn)確性與一致性。

2. 設(shè)計(jì)與構(gòu)建云上湖倉(cāng)一體平臺(tái)
l 基于云原生技術(shù)，設(shè)計(jì)并搭建高性能、可擴(kuò)展、成本優(yōu)化的湖倉(cāng)一體數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)湖的靈活性與數(shù)據(jù)倉(cāng)庫(kù)的治理能力的統(tǒng)一。
l 主導(dǎo)數(shù)據(jù)湖表格式（如Apache Iceberg/Hudi/Delta Lake）、云存儲(chǔ)、資源調(diào)度及元數(shù)據(jù)管理等核心技術(shù)的選型、驗(yàn)證與落地實(shí)施。
3. 保險(xiǎn)數(shù)據(jù)資產(chǎn)重構(gòu)與開(kāi)發(fā)
l 深入理解人壽保險(xiǎn)核心業(yè)務(wù)（如保單、理賠、客戶、精算等），主導(dǎo)現(xiàn)有數(shù)據(jù)模型在云上新架構(gòu)下的優(yōu)化、重構(gòu)與落地。
l 負(fù)責(zé)設(shè)計(jì)并開(kāi)發(fā)主題域數(shù)據(jù)模型（如客戶全景、保單服務(wù)、風(fēng)險(xiǎn)主題），構(gòu)建高質(zhì)量、可復(fù)用的數(shù)據(jù)公共層。
l 熟練運(yùn)用SQL及Spark/Flink進(jìn)行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)ETL開(kāi)發(fā)，并對(duì)任務(wù)進(jìn)行深度性能調(diào)優(yōu)。
4. 平臺(tái)優(yōu)化與穩(wěn)定性保障
l 對(duì)遷移前后的Spark、Flink作業(yè)及Hadoop集群進(jìn)行深度性能診斷與調(diào)優(yōu)，解決數(shù)據(jù)傾斜、資源瓶頸等關(guān)鍵技術(shù)難題。
l 建立并完善新平臺(tái)的監(jiān)控、告警、運(yùn)維及容災(zāi)恢復(fù)體系，確保平臺(tái)的高可用性與穩(wěn)定性。

【任職要求】
1. 技術(shù)棧經(jīng)驗(yàn)
l 5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，對(duì) Hadoop（HDFS/YARN）、Spark、Flink具有豐富的生產(chǎn)環(huán)境開(kāi)發(fā)、深度調(diào)優(yōu)及運(yùn)維經(jīng)驗(yàn)，理解其核心原理與生態(tài)。
2. 云遷移與湖倉(cāng)一體經(jīng)驗(yàn)
l 具備將基于上述技術(shù)棧的大數(shù)據(jù)平臺(tái)成功遷移至公有云（如阿里云、騰訊云、AWS等），并演進(jìn)為湖倉(cāng)一體架構(gòu)的完整項(xiàng)目實(shí)踐經(jīng)驗(yàn)。
l 擁有Apache Iceberg、Hudi或Delta Lake等數(shù)據(jù)湖格式在生產(chǎn)環(huán)境中的實(shí)際應(yīng)用經(jīng)驗(yàn)。

3. 業(yè)務(wù)與數(shù)據(jù)能力
l 3年以上保險(xiǎn)行業(yè)大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)，熟悉人壽保險(xiǎn)核心業(yè)務(wù)邏輯與數(shù)據(jù)模型。
l SQL專(zhuān)家，具備編寫(xiě)和優(yōu)化復(fù)雜SQL的能力，能高效解決業(yè)務(wù)數(shù)據(jù)處理需求。
l 了解數(shù)據(jù)治理體系（數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)安全）。
4. 編程能力
l 熟練掌握 Java、Scala或Python至少一門(mén)編程語(yǔ)言，具備扎實(shí)的編碼和系統(tǒng)問(wèn)題排查能力。