崗位職責(zé)：
1、 數(shù)據(jù)管道開發(fā)： 設(shè)計、開發(fā)和維護(hù)高性能、高可靠性的批流一體數(shù)據(jù)ETL/ELT管道，將來自業(yè)務(wù)數(shù)據(jù)庫、日志、API等多元異構(gòu)數(shù)據(jù)源的數(shù)據(jù)整合到數(shù)據(jù)倉庫/數(shù)據(jù)湖中。
2、數(shù)據(jù)建模與治理： 基于Kimball或Inmon等理論，設(shè)計并實施企業(yè)級數(shù)據(jù)倉庫的維度模型或數(shù)據(jù)湖的通用數(shù)據(jù)模型。負(fù)責(zé)數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量監(jiān)控、元數(shù)據(jù)管理和數(shù)據(jù)標(biāo)準(zhǔn)的落地。
3、平臺與工具建設(shè)： 參與大數(shù)據(jù)平臺（如Hadoop、Spark、Flink生態(tài)）的選型、搭建、調(diào)優(yōu)和運(yùn)維。開發(fā)或優(yōu)化數(shù)據(jù)開發(fā)、任務(wù)調(diào)度、數(shù)據(jù)服務(wù)等內(nèi)部工具。
4、性能優(yōu)化： 對海量數(shù)據(jù)進(jìn)行存儲和計算優(yōu)化，解決數(shù)據(jù)傾斜、SQL性能瓶頸等問題，保障數(shù)據(jù)任務(wù)的SLA。
5、數(shù)據(jù)服務(wù)化： 將加工后的數(shù)據(jù)（如ADS層、數(shù)據(jù)集市）通過API、數(shù)據(jù)報告、數(shù)據(jù)可視化工具等形式，高效、安全地提供給下游業(yè)務(wù)、分析師和算法團(tuán)隊使用。
崗位要求：
必備技能：
編程語言： 精通 SQL，熟練掌握 Python 或 Java/Scala 至少一種。
大數(shù)據(jù)技術(shù)棧： 深入理解并擁有 Hive, Spark, Flink, Hadoop 等至少一項核心框架的實戰(zhàn)開發(fā)經(jīng)驗。
數(shù)據(jù)倉庫理論： 熟悉數(shù)據(jù)倉庫分層設(shè)計（ODS/DWD/DWS/ADS）、維度建模、緩慢變化維等核心概念。
數(shù)據(jù)庫： 熟悉主流OLTP（如MySQL）和OLAP（如ClickHouse, Doris, StarRocks）數(shù)據(jù)庫的使用和優(yōu)化。
算法工程師