此崗位 微創(chuàng)本部直招,工作地址在微創(chuàng)大廈,承接上海某互聯(lián)網(wǎng)大廠外包項目,歡迎投遞,謝謝~
面試流程:2輪視頻面試
【工作地點】上海市閔行區(qū)紫星路1000號微創(chuàng)大廈3F【地鐵15號線 紫竹高新區(qū)】
【人物畫像】
需 強互聯(lián)網(wǎng) 實時數(shù)倉背景和flinkSQL,云平臺經(jīng)驗
精通SQL&至少一門編程語言Spark/Flink/Java/Python
【崗位職責(zé)】
1、負(fù)責(zé)數(shù)據(jù)倉庫腳本任務(wù)及數(shù)據(jù)的遷移工作,確保最終數(shù)據(jù)完整性和一致性。
2、使用 Hive SQL 進行數(shù)據(jù)查詢操作,基于 Hadoop 大數(shù)據(jù)組件完成數(shù)據(jù)腳本部署、驗證。編寫和維護數(shù)據(jù)搬遷相關(guān)的操作文檔。
3、與業(yè)務(wù)團隊和開發(fā)團隊協(xié)作,確保數(shù)據(jù)搬遷項目按時交付。
【任職要求】
技術(shù)要求:
1、數(shù)據(jù)倉庫技術(shù):熟悉數(shù)據(jù)倉庫的設(shè)計、建模和優(yōu)化,熟悉 ETL 流程。
2、大數(shù)據(jù)組件:熟悉Hadoop生態(tài)系統(tǒng)(如HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大數(shù)據(jù)組件的使用。
3、編程語言:精通 Hive SQL,能夠編寫復(fù)雜的查詢語句;有一定 Python、Java 或 Scala 等編程語言的基礎(chǔ)。
經(jīng)驗要求:
1、2-4年大數(shù)據(jù)相關(guān)工作經(jīng)驗,具備數(shù)據(jù)倉庫、數(shù)據(jù)開發(fā)能力。
2、有大型數(shù)據(jù)倉庫遷移項目經(jīng)驗者優(yōu)先。
3、必須要有云平臺項目經(jīng)驗