崗位職責(zé)：
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高性能、高可和的實(shí)時(shí)和離線數(shù)據(jù)管道，處理日均千萬級的數(shù)據(jù)
2、負(fù)責(zé)從多種數(shù)據(jù)源（如電商數(shù)據(jù)、IOT設(shè)備數(shù)據(jù)、社交媒體、第三方數(shù)據(jù)API等）進(jìn)行數(shù)據(jù)采集、清洗和集成
3、參與設(shè)計(jì)和構(gòu)建數(shù)據(jù)倉庫/數(shù)據(jù)湖，負(fù)責(zé)數(shù)據(jù)分層（ODS、DWD、DWS、ADS）和主題域劃分
4、深入理解家電業(yè)務(wù)，設(shè)計(jì)合理的數(shù)據(jù)模型，以支持靈活、高效的市場分析、用戶畫像和OLAD查詢
5、使用 Spark, Flink, Hive 等大數(shù)據(jù)技術(shù)，編寫高效的數(shù)據(jù)處理作業(yè)，完成復(fù)雜的ETL/ELT任務(wù)
6、持續(xù)監(jiān)控?cái)?shù)據(jù)任務(wù)的性能和健康狀況，定位并解決數(shù)據(jù)延遲、數(shù)據(jù)傾斜、計(jì)算資源瓶頸等問題。
7、保障數(shù)據(jù)質(zhì)量，建立和完善數(shù)據(jù)稽核、監(jiān)控和報(bào)警體系，確保數(shù)據(jù)的準(zhǔn)確性和一致性。
8、負(fù)責(zé)大數(shù)據(jù)集群（如 Hadoop, Spark, Flink 集群）的運(yùn)維、調(diào)優(yōu)和成本控制。
任職要求：
1、計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)
2、精通 Java/Scala/Python 中至少一門編程語言。具有扎實(shí)的 SQL 能力，熟悉性能調(diào)優(yōu)，有Hive, Spark SQL, Presto 等使用經(jīng)驗(yàn)。
3、深入理解 Hadoop 生態(tài)系統(tǒng)（HDFS, YARN, Hive）及 Spark 的核心原理，有實(shí)時(shí)數(shù)據(jù)處理經(jīng)驗(yàn)，熟悉Flink、Kafka等流處理技術(shù)更佳
4、熟悉OLAD引擎（如clickhouse、doris），并有相關(guān)優(yōu)化經(jīng)驗(yàn)
5、了解機(jī)器學(xué)習(xí)平臺或數(shù)據(jù)科學(xué)的協(xié)作流程，有相關(guān)經(jīng)驗(yàn)者更佳
6、熟悉至少一種主流調(diào)度系統(tǒng)（如DolphinScheduler、Airflow）
7、擁有從0-1構(gòu)建或深度參與大型數(shù)據(jù)倉庫/數(shù)據(jù)平臺建設(shè)的經(jīng)驗(yàn)，熟悉數(shù)據(jù)倉庫建模理論。