1、負責數(shù)據(jù)湖平臺的設計、開發(fā)與運維,構建高性能數(shù)據(jù)解決方案及工具鏈。
2、研究并引入大數(shù)據(jù)新技術(如Spark/Kinesis/DynamoDB等),推動數(shù)據(jù)架構持續(xù)優(yōu)化與業(yè)務賦能。
3、處理海量數(shù)據(jù)流,解決系統(tǒng)擴展性、穩(wěn)定性問題,保障數(shù)據(jù)平臺高可用性。
4、開發(fā)自動化工具與流程,提升跨地域團隊協(xié)作與交付效率。
5、參與技術決策,提供基礎設施、數(shù)據(jù)架構及彈性設計方面的專業(yè)建議。
1、計算機/電子工程相關專業(yè)本科及以上學歷,6年以上大數(shù)據(jù)領域開發(fā)經(jīng)驗。
2、精通Python,具備多語言開發(fā)能力(Java/Scala/JS等)者優(yōu)先。
3、深厚的大數(shù)據(jù)技術實戰(zhàn)經(jīng)驗,熟悉Hadoop/Spark/Kafka/Presto等生態(tài)組件。
4、熟練運用SQL、NoSQL數(shù)據(jù)庫,具備數(shù)據(jù)建模、性能調(diào)優(yōu)及運維監(jiān)控能力。
5、具備云平臺(AWS/Azure)高可用服務開發(fā)經(jīng)驗,熟悉CI/CD、Airflow及安全合規(guī)要求,具有機器學習經(jīng)驗者優(yōu)先。
6、優(yōu)秀的中英文溝通能力和團隊協(xié)作精神。