一、崗位職責(zé)
1. 數(shù)據(jù)平臺(tái)建設(shè)與維護(hù)
1） 設(shè)計(jì)并搭建高可用、可擴(kuò)展的大數(shù)據(jù)平臺(tái)（如Hadoop、Spark、Flink生態(tài)系統(tǒng)）。
2）管理數(shù)據(jù)倉(cāng)庫(kù)（如Hive）、實(shí)時(shí)數(shù)倉(cāng)（如ClickHouse）和湖倉(cāng)一體架構(gòu)。
2. 數(shù)據(jù)管道開(kāi)發(fā)
1） 構(gòu)建ETL/ELT數(shù)據(jù)管道，實(shí)現(xiàn)多源數(shù)據(jù)（日志、數(shù)據(jù)庫(kù)、第三方API等）的自動(dòng)化采集、清洗和集成。
2）開(kāi)發(fā)實(shí)時(shí)流處理系統(tǒng)（如Kafka、Flink）支持實(shí)時(shí)數(shù)據(jù)分析。
3. 性能優(yōu)化與監(jiān)控
1） 優(yōu)化數(shù)據(jù)存儲(chǔ)和計(jì)算性能，解決數(shù)據(jù)傾斜、資源調(diào)度等問(wèn)題。
設(shè)計(jì)監(jiān)控告警體系，保障數(shù)據(jù)任務(wù)的穩(wěn)定運(yùn)行與服務(wù)達(dá)標(biāo)。

二、技能要求
1、 硬技能
1）編程語(yǔ)言：精通Scala/Java/Python中至少一種，熟悉SQL。
2）大數(shù)據(jù)框架：
（1）批處理：Hadoop、Spark、Hive
（2）流處理：Flink、Kafka、Storm
（3）存儲(chǔ)：HDFS、HBase、對(duì)象存儲(chǔ)（如S3/OSS）
（4） 資源調(diào)度：YARN、Kubernetes
3）數(shù)據(jù)倉(cāng)庫(kù)與湖倉(cāng)：熟悉維度建模、Delta Lake、Hudi、Iceberg等。
4）運(yùn)維工具：熟悉Docker、CI/CD、監(jiān)控工具（Prometheus、Grafana）。
2、軟技能
1） 邏輯清晰，具備系統(tǒng)性解決問(wèn)題的能力。
2）溝通能力強(qiáng)，能跨團(tuán)隊(duì)協(xié)作并解釋技術(shù)方案。
3）對(duì)業(yè)務(wù)敏感，能通過(guò)數(shù)據(jù)技術(shù)驅(qū)動(dòng)業(yè)務(wù)價(jià)值。
三、任職資格
1、 教育背景：計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷。
2、工作經(jīng)驗(yàn)：3-5年經(jīng)驗(yàn)，能獨(dú)立設(shè)計(jì)數(shù)據(jù)架構(gòu)，有性能調(diào)優(yōu)經(jīng)驗(yàn)。