一、崗位職責
1. 數(shù)據(jù)平臺建設(shè)與維護
1) 設(shè)計并搭建高可用、可擴展的大數(shù)據(jù)平臺(如Hadoop、Spark、Flink生態(tài)系統(tǒng))。
2)管理數(shù)據(jù)倉庫(如Hive)、實時數(shù)倉(如ClickHouse)和湖倉一體架構(gòu)。
2. 數(shù)據(jù)管道開發(fā)
1) 構(gòu)建ETL/ELT數(shù)據(jù)管道,實現(xiàn)多源數(shù)據(jù)(日志、數(shù)據(jù)庫、第三方API等)的自動化采集、清洗和集成。
2)開發(fā)實時流處理系統(tǒng)(如Kafka、Flink)支持實時數(shù)據(jù)分析。
3. 性能優(yōu)化與監(jiān)控
1) 優(yōu)化數(shù)據(jù)存儲和計算性能,解決數(shù)據(jù)傾斜、資源調(diào)度等問題。
設(shè)計監(jiān)控告警體系,保障數(shù)據(jù)任務(wù)的穩(wěn)定運行與服務(wù)達標。
二、技能要求
1、 硬技能
1)編程語言:精通Scala/Java/Python中至少一種,熟悉SQL。
2)大數(shù)據(jù)框架:
(1)批處理:Hadoop、Spark、Hive
(2)流處理:Flink、Kafka、Storm
(3)存儲:HDFS、HBase、對象存儲(如S3/OSS)
(4) 資源調(diào)度:YARN、Kubernetes
3)數(shù)據(jù)倉庫與湖倉:熟悉維度建模、Delta Lake、Hudi、Iceberg等。
4)運維工具:熟悉Docker、CI/CD、監(jiān)控工具(Prometheus、Grafana)。
2、軟技能
1) 邏輯清晰,具備系統(tǒng)性解決問題的能力。
2)溝通能力強,能跨團隊協(xié)作并解釋技術(shù)方案。
3)對業(yè)務(wù)敏感,能通過數(shù)據(jù)技術(shù)驅(qū)動業(yè)務(wù)價值。
三、任職資格
1、 教育背景:計算機、數(shù)學(xué)、統(tǒng)計等相關(guān)專業(yè)本科及以上學(xué)歷。
2、工作經(jīng)驗:3-5年經(jīng)驗,能獨立設(shè)計數(shù)據(jù)架構(gòu),有性能調(diào)優(yōu)經(jīng)驗。