崗位職責:
1. 集群管理:負責Hadoop集群的安裝、配置、維護和優(yōu)化,確保系統(tǒng)的高可用性和穩(wěn)定性。
2. 性能調優(yōu):監(jiān)控集群性能,進行必要的調整以提高數(shù)據(jù)處理效率和資源利用率。
3. 故障排查:快速響應系統(tǒng)故障,定位問題原因,實施有效的解決方案。
4. 安全管理:建立和完善安全機制,保護數(shù)據(jù)安全,防止未授權訪問。
5. 技術選型:根據(jù)業(yè)務需求選擇合適的Hadoop生態(tài)組件和技術棧。
6. 項目支持:為業(yè)務團隊提供技術支持,參與需求分析,協(xié)助設計數(shù)據(jù)處理流程。
7. 文檔編寫:撰寫技術文檔,如操作手冊、故障排除指南等,以便團隊成員共享知識。
崗位要求:
1. 教育背景:計算機科學或相關領域的學士/碩士學位。
2. 經(jīng)驗要求:3年以上的大數(shù)據(jù)平臺運維經(jīng)驗,特別是Hadoop生態(tài)系統(tǒng)。
3. 技術技能:深入理解Hadoop架構及其核心組件(如HDFS、YARN等);熟悉Hadoop生態(tài)圈其他工具(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);掌握Linux操作系統(tǒng);了解Shell腳本編程;具有Python、Java或Scala等至少一種編程語言的經(jīng)驗。
4. 軟技能:良好的溝通能力和團隊合作精神;能夠獨立解決問題;對新技術保持好奇心和學習態(tài)度。
5. 加分項:熟悉Ambari Mpack開發(fā),機器規(guī)模百臺、數(shù)據(jù)規(guī)模PB級以上運維經(jīng)驗。