一、崗位職責
1. 數(shù)據(jù)平臺建設(shè)與維護
1） 設(shè)計并搭建高可用、可擴展的大數(shù)據(jù)平臺（如Hadoop、Spark、Flink生態(tài)系統(tǒng)）。
2）管理數(shù)據(jù)倉庫（如Hive）、實時數(shù)倉（如ClickHouse）和湖倉一體架構(gòu)。
2. 數(shù)據(jù)管道開發(fā)
1） 構(gòu)建ETL/ELT數(shù)據(jù)管道，實現(xiàn)多源數(shù)據(jù)（日志、數(shù)據(jù)庫、第三方API等）的自動化采集、清洗和集成。
2）開發(fā)實時流處理系統(tǒng)（如Kafka、Flink）支持實時數(shù)據(jù)分析。
3. 性能優(yōu)化與監(jiān)控
1） 優(yōu)化數(shù)據(jù)存儲和計算性能，解決數(shù)據(jù)傾斜、資源調(diào)度等問題。
設(shè)計監(jiān)控告警體系，保障數(shù)據(jù)任務(wù)的穩(wěn)定運行與服務(wù)達標。

二、技能要求
1、 硬技能
1）編程語言：精通Scala/Java/Python中至少一種，熟悉SQL。
2）大數(shù)據(jù)框架：
（1）批處理：Hadoop、Spark、Hive
（2）流處理：Flink、Kafka、Storm
（3）存儲：HDFS、HBase、對象存儲（如S3/OSS）
（4） 資源調(diào)度：YARN、Kubernetes
3）數(shù)據(jù)倉庫與湖倉：熟悉維度建模、Delta Lake、Hudi、Iceberg等。
4）運維工具：熟悉Docker、CI/CD、監(jiān)控工具（Prometheus、Grafana）。
2、軟技能
1） 邏輯清晰，具備系統(tǒng)性解決問題的能力。
2）溝通能力強，能跨團隊協(xié)作并解釋技術(shù)方案。
3）對業(yè)務(wù)敏感，能通過數(shù)據(jù)技術(shù)驅(qū)動業(yè)務(wù)價值。
三、任職資格
1、 教育背景：計算機、數(shù)學(xué)、統(tǒng)計等相關(guān)專業(yè)本科及以上學(xué)歷。
2、工作經(jīng)驗：3-5年經(jīng)驗，能獨立設(shè)計數(shù)據(jù)架構(gòu)，有性能調(diào)優(yōu)經(jīng)驗。