職位描述
我們正在尋找一位具備3-5年大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)的工程師，加入我們快速發(fā)展的數(shù)據(jù)團(tuán)隊(duì)。您將負(fù)責(zé)基于現(xiàn)代數(shù)據(jù)湖倉(cāng)架構(gòu)（StarRocks+Paimon、Delta Lake+Spark）構(gòu)建高效的數(shù)據(jù)平臺(tái)，建立完善的數(shù)據(jù)治理體系，并探索AI與大數(shù)據(jù)融合的創(chuàng)新應(yīng)用。如果您對(duì)數(shù)據(jù)架構(gòu)演進(jìn)、數(shù)據(jù)質(zhì)量管理和AI驅(qū)動(dòng)的大數(shù)據(jù)應(yīng)用有濃厚興趣，我們期待您的加入。
核心職責(zé)
1、 現(xiàn)代數(shù)據(jù)架構(gòu)開(kāi)發(fā)與治理
①基于 StarRocks
+ Paimon 構(gòu)建高性能的實(shí)時(shí)湖倉(cāng)一體分析平臺(tái)
②基于 Delta Lake + Spark 構(gòu)建可靠的數(shù)據(jù)湖架構(gòu)
③建立并維護(hù)數(shù)據(jù)治理體系，包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等
2、 數(shù)據(jù)處理與質(zhì)量保障
①開(kāi)發(fā)高質(zhì)量的數(shù)據(jù)處理程序，支持特征工程和模型訓(xùn)練
②設(shè)計(jì)和實(shí)施數(shù)據(jù)質(zhì)量管理框架，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性
③構(gòu)建監(jiān)控告警體系，實(shí)時(shí)跟蹤數(shù)據(jù)質(zhì)量指標(biāo)
3、 數(shù)據(jù)治理體系建設(shè)
①建立企業(yè)級(jí)數(shù)據(jù)治理框架，制定數(shù)據(jù)管理規(guī)范和流程
②實(shí)施數(shù)據(jù)質(zhì)量管理方案，包括數(shù)據(jù)質(zhì)量規(guī)則定義、質(zhì)量評(píng)估和問(wèn)題追蹤
③推動(dòng)數(shù)據(jù)血緣分析和影響分析，構(gòu)建數(shù)據(jù)資產(chǎn)地圖
4、 AI應(yīng)用支持與數(shù)據(jù)服務(wù)
①與算法工程師協(xié)作，構(gòu)建高效的特征工程流水線
②支持機(jī)器學(xué)習(xí)平臺(tái)的數(shù)據(jù)需求，提供高質(zhì)量的訓(xùn)練數(shù)據(jù)集
③參與AI應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)和實(shí)施
任職要求
必需條件（3年以上經(jīng)驗(yàn)）
1、 核心技術(shù)棧
①現(xiàn)代數(shù)據(jù)湖倉(cāng)架構(gòu)：精通 StarRocks 和 Paimon，有實(shí)際項(xiàng)目部署和優(yōu)化經(jīng)驗(yàn)
②數(shù)據(jù)湖技術(shù)：精通 Delta Lake 和 Spark，熟悉ACID事務(wù)、時(shí)間旅行等特性
③數(shù)據(jù)治理能力：有建立數(shù)據(jù)治理框架的實(shí)際經(jīng)驗(yàn)，理解數(shù)據(jù)質(zhì)量管理體系
④編程能力：熟練掌握 Python、Java/Scala，具備扎實(shí)的編碼功底
2、 架構(gòu)與工程經(jīng)驗(yàn)
①3年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，其中至少1年專注于現(xiàn)代數(shù)據(jù)湖倉(cāng)架構(gòu)
②完整參與過(guò)基于StarRocks+Paimon或Delta Lake+Spark的項(xiàng)目實(shí)施
③有數(shù)據(jù)治理體系建設(shè)的實(shí)踐經(jīng)驗(yàn)，包括數(shù)據(jù)標(biāo)準(zhǔn)制定、質(zhì)量規(guī)則設(shè)計(jì)等
④數(shù)據(jù)質(zhì)量管理經(jīng)驗(yàn)：熟悉DQC、數(shù)據(jù)探查、質(zhì)量監(jiān)控等工具和方法論
3、 AI應(yīng)用開(kāi)發(fā)能力
①有大數(shù)據(jù)與AI結(jié)合的項(xiàng)目經(jīng)驗(yàn)，了解機(jī)器學(xué)習(xí)工作流程
②具備特征工程開(kāi)發(fā)經(jīng)驗(yàn)，能夠構(gòu)建高質(zhì)量的特征數(shù)據(jù)集
③了解模型訓(xùn)練的數(shù)據(jù)預(yù)處理和流水線構(gòu)建
④有PySpark或Spark MLlib的使用經(jīng)驗(yàn)
深度能力要求
1、 數(shù)據(jù)治理專業(yè)能力
①數(shù)據(jù)治理框架設(shè)計(jì)：能夠設(shè)計(jì)符合企業(yè)實(shí)際的數(shù)據(jù)治理體系架構(gòu)
②數(shù)據(jù)質(zhì)量管理：精通數(shù)據(jù)質(zhì)量維度（完整性、準(zhǔn)確性、一致性、時(shí)效性等）
③元數(shù)據(jù)管理：熟悉元數(shù)據(jù)采集、管理、應(yīng)用全流程
④數(shù)據(jù)標(biāo)準(zhǔn)制定：有數(shù)據(jù)分類、數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)制定的實(shí)際經(jīng)驗(yàn)
2、 技術(shù)實(shí)施能力
①精通StarRocks的物化視圖、索引優(yōu)化和查詢加速
②深入理解Paimon的LSM樹(shù)結(jié)構(gòu)、合并策略和流批一體讀寫(xiě)
③掌握Delta Lake的Schema演進(jìn)、數(shù)據(jù)治理和性能優(yōu)化
④能開(kāi)發(fā)數(shù)據(jù)質(zhì)量監(jiān)控工具，實(shí)現(xiàn)自動(dòng)化的質(zhì)量檢測(cè)
優(yōu)先考慮（加分項(xiàng)）
1、 高級(jí)數(shù)據(jù)治理經(jīng)驗(yàn)
①熟悉DAMA、DCMM等數(shù)據(jù)治理框架
②有數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)地圖項(xiàng)目實(shí)施經(jīng)驗(yàn)
③了解數(shù)據(jù)安全治理和隱私保護(hù)相關(guān)技術(shù)
④有數(shù)據(jù)治理平臺(tái)工具選型或自研經(jīng)驗(yàn)
2、 AI工程化治理
①有特征治理（Feature Governance）實(shí)踐經(jīng)驗(yàn)
②了解模型數(shù)據(jù)質(zhì)量管理（Model Data Quality）
③有MLOps中的數(shù)據(jù)治理經(jīng)驗(yàn)
④熟悉AI應(yīng)用中的數(shù)據(jù)血緣追蹤
3、 行業(yè)認(rèn)證與社區(qū)
①擁有CDMP、CDGA/CDGP等數(shù)據(jù)治理認(rèn)證
②參與過(guò)開(kāi)源數(shù)據(jù)治理項(xiàng)目貢獻(xiàn)
③在數(shù)據(jù)治理相關(guān)會(huì)議有分享經(jīng)驗(yàn)
教育背景
計(jì)算機(jī)科學(xué)、軟件工程、數(shù)據(jù)科學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷