大數(shù)據(jù)集群運維工程師
【職責描述】
1.負責HDP平臺相關(guān)組件的部署和維護,保證其服務(wù)穩(wěn)定;
2.為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應用項目提供運行環(huán)境支持;
3.負責大數(shù)據(jù)平臺內(nèi)部所涉及到的各類數(shù)據(jù)庫,數(shù)據(jù)存儲的搭建、備份、日常維護、性能調(diào)優(yōu);
4.大數(shù)據(jù)平臺系統(tǒng)運維,監(jiān)控和故障分析處理。
【任職要求】
1.學信網(wǎng)統(tǒng)招本科及以上學歷,計算機相關(guān)專業(yè),5年以上相關(guān)經(jīng)驗;
2.對大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺有深刻理解,對基于Hadoop的大數(shù)據(jù)體系有深入認識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Kafka、Sqoop、Spark等)項目應用研發(fā)經(jīng)驗,熟悉底層原理和工作流程;
3.熟悉Hadoop及相關(guān)組件部署維護,有實際大數(shù)據(jù)集群運維經(jīng)驗;
4.精通Hadoop生態(tài)各類存儲格式、原理、壓縮,大量小文件的處理策略。
5.集群節(jié)點數(shù)據(jù)均衡、磁盤數(shù)據(jù)均衡,集群每臺服務(wù)器的內(nèi)存大小、CPU核數(shù)、硬盤情況的預留、監(jiān)控與優(yōu)化。
6.Hadoop參數(shù)調(diào)優(yōu):HDFS、YARN參數(shù)調(diào)優(yōu),MapReduce、Hive、Hbase、Spark等優(yōu)化。
7.對大商用數(shù)據(jù)平臺tchouse、iceberg等具有豐富的搭建、運維、使用經(jīng)驗;
8.對大數(shù)據(jù)技術(shù)和生態(tài)的認知和理解自成體系,具備良好的解決方案歸納能力;
9.集群穩(wěn)定性運維、擴容縮容,大版本的熱升級、有災備,跨域?qū)嵤┙?jīng)驗。