崗位職責(zé) 1. 數(shù)據(jù)管道開發(fā)與優(yōu)化 o 設(shè)計(jì)并維護(hù)高效穩(wěn)定的數(shù)據(jù)ETL流程,實(shí)現(xiàn)多源數(shù)據(jù)(結(jié)構(gòu)化/非結(jié)構(gòu)化)的自動(dòng)化采集、清洗與轉(zhuǎn)換 o 優(yōu)化數(shù)據(jù)加工邏輯(如字段映射、缺失值處理、性能調(diào)優(yōu)),減少人工干預(yù) o 管理數(shù)據(jù)全生命周期:從原始數(shù)據(jù)接入、分層存儲(chǔ)到下游應(yīng)用交付 2. 數(shù)據(jù)倉庫與平臺(tái)建設(shè) o 構(gòu)建和維護(hù)企業(yè)級(jí)數(shù)據(jù)倉庫(如Hive/Redshift/BigQuery),設(shè)計(jì)分層數(shù)據(jù)模型(ODS/DWD/DWS) o 開發(fā)數(shù)據(jù)服務(wù)API(Flask/FastAPI)支持業(yè)務(wù)系統(tǒng)調(diào)用,保障數(shù)據(jù)服務(wù)高可用 o 實(shí)施數(shù)據(jù)質(zhì)量監(jiān)控(完整性/一致性校驗(yàn))及血緣追蹤 3. 基礎(chǔ)設(shè)施與工具運(yùn)維 o 管理大數(shù)據(jù)集群(Hadoop/Spark/Flink)及云平臺(tái)資源(AWS/GCP/Azure) o 運(yùn)維數(shù)據(jù)調(diào)度系統(tǒng)(Airflow/DolphinScheduler)與實(shí)時(shí)計(jì)算引擎 o 維護(hù)數(shù)據(jù)庫(SQL/NoSQL)及BI工具(Tableau/Superset)的訪問權(quán)限與性能 任職要求 1. 技術(shù)棧 o 精通Python/Scala/Java至少一門語言,熟悉SQL優(yōu)化與分布式計(jì)算(Spark/Pandas) o 掌握數(shù)據(jù)倉庫建模理論,具備數(shù)倉建設(shè)實(shí)戰(zhàn)經(jīng)驗(yàn) o 熟練使用主流大數(shù)據(jù)組件(HDFS/Hive/Kafka/Flink) 2. 平臺(tái)能力 o 熟悉云計(jì)算平臺(tái)(AWS S3/EMR, GCP BigQuery等) o 有數(shù)據(jù)調(diào)度工具(Airflow/Luigi)開發(fā)運(yùn)維經(jīng)驗(yàn) 3. 工程化能力 o 擅長(zhǎng)數(shù)據(jù)管道性能調(diào)優(yōu)與故障排查 o 能通過腳本(Shell/Python)實(shí)現(xiàn)流程自動(dòng)化 4. 業(yè)務(wù)協(xié)作 o 能快速理解業(yè)務(wù)需求并轉(zhuǎn)化為數(shù)據(jù)解決方案 o 具備技術(shù)文檔撰寫能力,可流暢閱讀英文技術(shù)資料