崗位職責(zé):
1. 根據(jù)甲方業(yè)務(wù)需求(如實(shí)時(shí)監(jiān)控、離線報(bào)表、業(yè)務(wù)分析等),協(xié)助團(tuán)隊(duì)完成分布式數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì),覆蓋數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、服務(wù)層等流程。確保系統(tǒng)在資源有限場(chǎng)景下的高性能與易維護(hù)性。
2、針對(duì)不同客戶需求(如高并發(fā)查詢、數(shù)據(jù)時(shí)效性要求、合規(guī)存儲(chǔ)等),設(shè)計(jì)可擴(kuò)展的數(shù)據(jù)模型與ETL流程,優(yōu)化數(shù)據(jù)分層。
3、. 實(shí)時(shí)與離線數(shù)據(jù)開發(fā),搭建實(shí)時(shí)數(shù)據(jù)處理鏈路,支持多種等場(chǎng)景。
4、客戶協(xié)作與交付支持
5、快速響應(yīng)客戶問題,制定數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則(如數(shù)據(jù)一致性校驗(yàn)、血緣追蹤),提升系統(tǒng)可靠性。
要求:
1、 技術(shù)棧精通:熟練使用大數(shù)據(jù)組件(Hadoop/Spark/Flink/Kafka等)。
2、熟悉分布式數(shù)據(jù)庫(如Doris、ClickHouse、Greenplum)的部署與優(yōu)化,具備小型集群調(diào)優(yōu)經(jīng)驗(yàn)。
3、熟練掌握數(shù)據(jù)建模工具與ETL開發(fā)工具。
4、熟練掌握至少兩種數(shù)據(jù)開發(fā)語言,如Java、SQL、Python等。
5、熟悉數(shù)據(jù)模型,數(shù)據(jù)湖,數(shù)據(jù)倉等相關(guān)的基礎(chǔ)知識(shí)。
6、 3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),主導(dǎo)過2個(gè)以上甲方數(shù)據(jù)倉庫項(xiàng)目,具備從0到1搭建經(jīng)驗(yàn)者優(yōu)先。
7、 客戶導(dǎo)向思維,溝通及理解能力強(qiáng)。