崗位職責:
1、負責大數(shù)據(jù)平臺的架構設計和優(yōu)化,確保數(shù)據(jù)的高效存儲、處理和訪問,確保系統(tǒng)的穩(wěn)定性和可靠性。
2、負責根據(jù)業(yè)務設計和構建企業(yè)級數(shù)據(jù)倉庫,包括數(shù)據(jù)模型設計、ETL流程開發(fā)等?。不斷優(yōu)化模型和產(chǎn)品,建立線上監(jiān)控、評估和報表。
3、負責大數(shù)據(jù)平臺的數(shù)據(jù)存儲、處理和計算任務,保障數(shù)據(jù)的高效提取和分析。
4、開發(fā)、優(yōu)化和維護與Flink、Hadoop、Hive、Spark相關的數(shù)據(jù)處理程序和作業(yè)。
技能要求:
1.精通Flink、Hadoop,精通SQL語言及調優(yōu)方法;具備豐富的Flink、Spark、MapReduce、HDFS、Hive等大數(shù)據(jù)框架的實際設計與開發(fā)經(jīng)驗。
2.能夠獨立設計和開發(fā)大規(guī)模數(shù)據(jù)處理和分析系統(tǒng),具備良好的編程能力和調試能力。
3.具備扎實的Java編程基礎,熟悉常用的數(shù)據(jù)結構和算法。
4.熟練掌握Java、Python等編程語言,熟悉Spring框架,包括Spring Boot、Spring MVC等,有相關項目開發(fā)經(jīng)驗者優(yōu)先。
5.具備良好的溝通能力和團隊協(xié)作能力,能夠與產(chǎn)品、運維、測試等部門有效配合,完成項目開發(fā)任務。
6.熟悉PostgreSQL、Clickhouse、Doris、Neo4j等數(shù)據(jù)庫中的一個或多個,并有過實際項目的開發(fā)經(jīng)驗的優(yōu)先。
經(jīng)驗要求:
5-8年大數(shù)據(jù)開發(fā)經(jīng)驗,有大規(guī)模數(shù)據(jù)處理項目實施經(jīng)驗者優(yōu)先考慮。
項目工作地:河西區(qū)