崗位職責:
1、設計、構建和維護高可靠、高性能的大數(shù)據(jù)平臺架構(Hadoop/Spark/Flink/Kafka等);
2、開發(fā)數(shù)據(jù)管道(ETL/ELT),處理海量文本、圖片、視頻等結構化/非結構化數(shù)據(jù),支持實時與離線分析場景;
3、優(yōu)化數(shù)據(jù)存儲、計算性能與成本,解決數(shù)據(jù)傾斜、資源調度等核心問題;
4、與算法、業(yè)務團隊協(xié)作,為機器學習、BI可視化等場景提供高質量數(shù)據(jù)服務;
5、保障數(shù)據(jù)安全、質量與合規(guī)性,建立監(jiān)控告警體系。
任職要求:
1、本科及以上學歷,計算機相關專業(yè),3年及以上相關工作經(jīng)驗;
2、精通 Hadoop/Spark/Flink 等生態(tài)組件,具備實時數(shù)倉開發(fā)經(jīng)驗。掌握 Hive/HBase/ClickHouse/Doris 等至少2種存儲引擎;
3、具有大數(shù)據(jù)開發(fā)經(jīng)驗,主導過TB級數(shù)據(jù)規(guī)模的項目落地;
4、具備數(shù)據(jù)治理(元數(shù)據(jù)、血緣、質量監(jiān)控)工具開發(fā)經(jīng)驗。