崗位職責:
1.負責大數(shù)據(jù)平臺的數(shù)據(jù)采集、清洗、轉換和加載(ETL)流程的設計與開發(fā),確保數(shù)據(jù)的準確性與時效性;
2.基于業(yè)務需求,使用維度建模等方法,設計和構建企業(yè)級數(shù)據(jù)倉庫與數(shù)據(jù)集市,支撐數(shù)據(jù)分析與應用;
3.熟練使用Hadoop、Spark、Flink等大數(shù)據(jù)計算框架進行數(shù)據(jù)處理與計算任務的開發(fā),并對集群進行基本的性能監(jiān)控與優(yōu)化;
4.根據(jù)業(yè)務需求,從海量數(shù)據(jù)中提取、分析有價值的信息,為數(shù)據(jù)報表、可視化看板及上層數(shù)據(jù)應用提供可靠的數(shù)據(jù)支持;
5.參與大數(shù)據(jù)平臺的技術選型、架構設計與迭代,了解CDH、Doris、ClickHouse等主流組件,并能應用于實際場景解決業(yè)務問題。
能力要求:
1、本科及以上學歷,專業(yè)為數(shù)據(jù)科學、計算機科學與技術、統(tǒng)計學等相關專業(yè);
2、持有ClouderaDataEngineer或HCIP大數(shù)據(jù)認證者優(yōu)先;
3、精通Hadoop/Spark/Flink等大數(shù)據(jù)框架,熟悉數(shù)據(jù)倉庫建模(維度建模/星型模型);
4、能獨立完成數(shù)據(jù)采集、清洗、建模、分析,熟悉ETL開發(fā);
5、了解主流大數(shù)據(jù)平臺(CDH/Doris/ClickHouse)。