該職位集團內(nèi)部職位名稱為數(shù)據(jù)湖工程師， 他/她將負責開發(fā)和維護數(shù)據(jù)基礎(chǔ)設(shè)施及客戶/運營分析能力，以支持威立雅中國團隊的信息需求。該職位將設(shè)計中國數(shù)據(jù)湖（基于云的大數(shù)據(jù)架構(gòu)），構(gòu)建和擴展數(shù)字解決方案，包括統(tǒng)計數(shù)據(jù)分析、數(shù)據(jù)挖掘、商業(yè)智能、數(shù)據(jù)倉庫等；同時負責數(shù)據(jù)湖技術(shù)、平臺和數(shù)據(jù)中心的運營、部署和維護，包括數(shù)據(jù)風(fēng)險與安全維護監(jiān)控、數(shù)據(jù)治理（數(shù)據(jù)訪問、數(shù)據(jù)存儲、數(shù)據(jù)變更管理、數(shù)據(jù)恢復(fù)等）以及數(shù)據(jù)分類、ETL、計算、優(yōu)化等工作。
架構(gòu)設(shè)計與開發(fā)：
- 定義系統(tǒng)級架構(gòu)，進行維度建模和數(shù)據(jù)集市設(shè)計
- 構(gòu)建高度可擴展的數(shù)據(jù)集市供威立雅中國使用
- 構(gòu)建整體數(shù)據(jù)集市架構(gòu)，設(shè)計并記錄數(shù)據(jù)系統(tǒng)生態(tài)
- 設(shè)計高度可擴展的數(shù)據(jù)湖數(shù)據(jù)提取解決方案
- 架構(gòu)設(shè)計數(shù)據(jù)質(zhì)量框架的詳細方案
數(shù)據(jù)湖運營與維護：
- 負責基于云平臺組件的威立雅中國數(shù)據(jù)湖技術(shù)運營和維護，包括部署和優(yōu)化、客戶培訓(xùn)和溝通、現(xiàn)場技術(shù)服務(wù)等
- 負責云平臺組件優(yōu)化需求的分析、開發(fā)和實施，解決威立雅中國數(shù)據(jù)湖運營維護中的疑難故障、性能瓶頸等問題
- 協(xié)助構(gòu)建基于阿里云的威立雅中國數(shù)據(jù)湖數(shù)據(jù)治理體系，研究阿里云運維技術(shù)，協(xié)助制定威立雅中國數(shù)據(jù)湖運維技術(shù)方案
數(shù)據(jù)治理與管理：
- 負責數(shù)據(jù)風(fēng)險與安全維護監(jiān)控，以及數(shù)據(jù)治理工作，包括但不限于數(shù)據(jù)訪問、數(shù)據(jù)存儲、數(shù)據(jù)變更管理、數(shù)據(jù)恢復(fù)等
- 負責數(shù)據(jù)湖和數(shù)據(jù)中心的數(shù)據(jù)分類、ETL、計算、優(yōu)化等工作
- 負責技術(shù)文檔的管理和編制維護
跨部門協(xié)作：
- 與威立雅中國不同業(yè)務(wù)部門合作，將業(yè)務(wù)需求轉(zhuǎn)化為技術(shù)功能規(guī)范
- 與不同平臺/系統(tǒng)所有者和供應(yīng)商合作，為威立雅中國制定***解決方案，同時平衡范圍、成本和時間
- 與大數(shù)據(jù)分析和數(shù)據(jù)科學(xué)團隊互動，開發(fā)最有效的分析和高級算法模型，實現(xiàn)數(shù)據(jù)價值的最優(yōu)提?。?br>- 與外部供應(yīng)商進行云平臺運營溝通
- 與其他項目團隊協(xié)調(diào)技術(shù)細節(jié)
技術(shù)研究與培訓(xùn)：
- 研究并跟進大數(shù)據(jù)架構(gòu)的新技術(shù)并分享
- 大數(shù)據(jù)處理和分析應(yīng)用平臺設(shè)計指導(dǎo)
- 制定培訓(xùn)指南，對團隊成員進行新技術(shù)交叉培訓(xùn)
- 規(guī)劃公有云自動化運維工具和輔助工具
任職要求：
- 計算機科學(xué)、數(shù)據(jù)科學(xué)、機器學(xué)習(xí)、統(tǒng)計學(xué)、應(yīng)用數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷
- 3年以上軟件開發(fā)和云平臺系統(tǒng)設(shè)計經(jīng)驗
- 具有PaaS平臺運維經(jīng)驗，有AWS、阿里云、騰訊云、華為云等公有云運維背景者優(yōu)先
- 具有SaaS/云產(chǎn)品/服務(wù)經(jīng)驗
- 深入理解數(shù)據(jù)湖和數(shù)據(jù)治理概念
- 具有大規(guī)模數(shù)據(jù)集上分布式系統(tǒng)軟件的設(shè)計和開發(fā)經(jīng)驗，用于機器學(xué)習(xí)、數(shù)據(jù)挖掘和分析
- 具有預(yù)測建模經(jīng)驗者優(yōu)先
- 編程語言能力（必須掌握以下至少2-3種）：
? 精通Python開發(fā)語言
? 熟練掌握Java
? 掌握Go語言者優(yōu)先
? 掌握Rust語言者優(yōu)先
? 熟悉其他現(xiàn)代編程語言
- 數(shù)據(jù)庫與SQL：
? 精通SQL
? 熟練掌握各種關(guān)系型數(shù)據(jù)庫（如MySQL等）的配置和調(diào)優(yōu)
? 熟練掌握各種非關(guān)系型數(shù)據(jù)庫（如Redis等）的配置和調(diào)優(yōu)
? 具有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)操作經(jīng)驗（必須）
? 具有Spark/Flink在NoSQL數(shù)據(jù)庫上的技能者優(yōu)先
- 大數(shù)據(jù)技術(shù)：
? 熟悉算法和優(yōu)化
? 具有流式分析和實時處理經(jīng)驗，如Spark Streaming、Storm等者優(yōu)先
? 熟悉常用組件的配置和調(diào)優(yōu)，如Nginx、Redis、MySQL、RocketMQ等，能夠進行調(diào)試
- 云平臺與阿里云：
? 熟悉阿里云各種產(chǎn)品和服務(wù)，如Maxcompute, Hologres
? 熟悉云平臺運營和維護
? 熟悉阿里云運維技術(shù)
- 系統(tǒng)與運維：
? 熟悉Linux操作系統(tǒng)
? 熟悉Windows操作系統(tǒng)
? 精通運維工具開發(fā)和腳本編寫
? 熟悉ITIL和DevOps的運維控制流程
? 具有硬件和網(wǎng)絡(luò)基礎(chǔ)知識
? 熟悉常用運維工具和平臺（如Nagios、Zabbix、Ansible等）
- 企業(yè)系統(tǒng)集成：
? 熟悉企業(yè)系統(tǒng)集成
? 了解通信協(xié)議，如MQTT、HTTP、HTTPS等