一、崗位職責:
(1)設計并構建基于開源技術的大數(shù)據(jù)平臺整體架構,融合湖倉一體化理念,實現(xiàn)數(shù)據(jù)的高效存儲與管理,確保平臺具備高可用性、可擴展性和高性能;
(2)主導大數(shù)據(jù)平臺技術規(guī)劃、技術選型、架構設計、技術演進并保障系統(tǒng)穩(wěn)定以及時效要求;
(3)主導數(shù)據(jù)平臺的獨立研發(fā)工作,負責系統(tǒng)架構設計、技術選型和開發(fā)指導,實現(xiàn)數(shù)據(jù)資產的統(tǒng)一管理、數(shù)據(jù)服務的高效提供以及數(shù)據(jù)治理的有效實施;
(4)負責大數(shù)據(jù)平臺的性能優(yōu)化和監(jiān)控,及時發(fā)現(xiàn)并解決系統(tǒng)性能瓶頸和故障,保障平臺穩(wěn)定運行;
(5)與數(shù)據(jù)團隊、算法團隊、治理團隊、業(yè)務部門緊密合作,提供技術指導和支持,確保大數(shù)據(jù)平臺與業(yè)務需求緊密結合,推動項目的順利實施;
二、任職要求:
(1)本科以上學歷,數(shù)學、統(tǒng)計、計算機相關專業(yè)優(yōu)先,5年或以上數(shù)據(jù)平臺開發(fā)相關工作經驗;
(2)具備大數(shù)據(jù)平臺架構設計能力,深入了解大數(shù)據(jù)生態(tài)相關組件,熟悉Hadoop、Flink、Spark、Doris/Starrocks等技術,有大數(shù)據(jù)架構搭建相關經驗者優(yōu)先;
(3)具備離線與實時數(shù)據(jù)倉庫設計和開發(fā)經驗,熟練掌握 ETL/ELT 工具和技術;
(4)了解 AI 算法,熟悉數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質量、主數(shù)據(jù)管理技術技術,能夠為 AI 應用提供數(shù)據(jù)支持;
(5)具備良好的系統(tǒng)分析和設計能力,能夠解決復雜的技術問題;具備優(yōu)秀的團隊協(xié)作和溝通能力,能夠有效推動跨部門合作;具備較強的學習能力和創(chuàng)新意識,關注大數(shù)據(jù)技術發(fā)展趨勢,不斷探索新技術在公司業(yè)務中的應用;