偏大數據運維
工作內容:
1、負責大數據平臺底層組件(HDFS,YARN,HIVE)的日常維護,線上問題處理,監(jiān)控告警處理,開發(fā)團隊技術支持;
2、負責大數據平臺周邊組件azkaban、flink、promethues服務的維護和故障處理;
3、負責云服務組件kafka、redis、ADB、polardb各種數據庫的維護和管理;
4、負責應用系統的輕量技術保障,包括系統監(jiān)控、系統巡檢、系統備份、系統安全評估;負責對接監(jiān)控平臺,根據系統及業(yè)務需求優(yōu)化監(jiān)控指標;負責云資源的管理及對接,包括阿里云、華為云等;負責提供系統運維技術支持,提供解決方案等;
5、負責數據庫的日常維護,包括數據庫權限管理、巡檢監(jiān)控、備份恢復等;負責提供數據庫技術支持,包括性能測試、調整、優(yōu)化等;解答各類技術問題,診斷和解決數據庫故障、錯誤和異常問題;定期進行錯誤日志分析,評估系統的穩(wěn)健性和可靠性;負責數據庫自動化運維工具和平臺建設。
崗位要求:
通用能力:
要求統招本科及以上學歷
1、具備較強的溝通協調能力,能自主推動項目進展和問題解決;
2、具備較強的工作責任意識,能自主跟進工作的任務直至閉環(huán);
3、具備較強的團隊協作意識,能服從領導安排、團隊協同作戰(zhàn);
4、具備較強的客戶服務意識,能站在客戶視角思考和解決問題;
5、具備較強的知識學習能力,能主動學習新技術、新業(yè)務知識;
6、具有工作吃苦耐勞的精神,能適應加班、短期出差及24h倒班。
技術要求:
1、具備CDH集群的組件部署, 節(jié)點擴容,資源優(yōu)化等運維工作能力;
2、熟系linux操作系統命令,掌握shell腳本編寫,具備自動化運維能力;
3、具備100+節(jié)點以上或pb級大數據集群運維經驗;
4、熟悉操作系統應用常用命令,包括Linux、Windows等;
5、熟悉常用運維腳本語言,如Shell/Python/Golang等;
6、熟悉容器化(K8S、Docker)、中間件(redis、kafka、es、rocketmq等)及其他常見平臺運維技術;
7、熟悉大型數據庫技術和工具,包括Mysql、SQL Server、Oracle、PostgreSQL、MogonDB、Redis等;
8、熟悉主流云計算平臺(阿里云、騰訊云、華為云等), 具備阿里云全棧產品的高效部署與運維實操能力優(yōu)先;
9、熟悉持續(xù)集成,對CI/CD流水線有實際設計落地經驗;
10、熟悉主流的promethus、grafana、ELK、阿里云監(jiān)控、阿里云ARMS等監(jiān)控工具;
11、具有cdh,或cdp管理員認證優(yōu)先。
*具有石油石化能源零售行業(yè)經驗者優(yōu)先,特別優(yōu)秀可放寬學歷和工作經驗。