工作職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop/Spark/Flink等)開(kāi)發(fā),維護(hù)和優(yōu)化,保障數(shù)據(jù)管道穩(wěn)定高效運(yùn)行。
2. 設(shè)計(jì)并開(kāi)發(fā)數(shù)據(jù)ETL流程,處理海量結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)(如Hive、HBase、ClickHouse等)建設(shè)。
3. 參與實(shí)時(shí)計(jì)算系統(tǒng)開(kāi)發(fā)(如Kafka、Flink、Storm),滿足業(yè)務(wù)實(shí)時(shí)數(shù)據(jù)分析需求。
4. 與業(yè)務(wù)部門(mén)協(xié)作,理解數(shù)據(jù)需求,提供數(shù)據(jù)建模、清洗、聚合等解決方案。
任職要求
技術(shù)能力:
1. 編程基礎(chǔ):熟練使用Java/Scala/Python/SQL至少一種,熟悉算法與數(shù)據(jù)結(jié)構(gòu)。
2. 大數(shù)據(jù)生態(tài):
- 精通Hadoop、Spark、Hive、HBase、Flink等框架,理解其底層原理(如MapReduce、RDD、Spark SQL優(yōu)化)。
- 熟悉分布式計(jì)算、存儲(chǔ)原理(如HDFS、YARN資源調(diào)度)。
3. 數(shù)據(jù)倉(cāng)庫(kù):熟悉維度建模、OLAP技術(shù),有數(shù)倉(cāng)分層(ODS/DWD/DWS/ADS)設(shè)計(jì)經(jīng)驗(yàn)。