国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 9月8日

數(shù)據(jù)倉庫高級工程師

1.6-3萬
  • 上海松江區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招3人

職位描述

數(shù)據(jù)建模數(shù)倉開發(fā)數(shù)據(jù)采集ETL開發(fā)
崗位職責(zé):
1. 依據(jù)湖倉一體數(shù)據(jù)存算系統(tǒng)需求,參與大數(shù)據(jù)平臺(tái)整體架構(gòu)設(shè)計(jì),確保數(shù)據(jù)采集、存儲(chǔ)、計(jì)算,治理各環(huán)節(jié)高效協(xié)同。
2. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)監(jiān)控及優(yōu)化,保障湖倉存儲(chǔ)、數(shù)據(jù)計(jì)算引擎等穩(wěn)定運(yùn)行。
3. 主導(dǎo)企業(yè)級數(shù)據(jù)倉庫設(shè)計(jì)與研發(fā),進(jìn)行海量數(shù)據(jù)模型設(shè)計(jì)與優(yōu)化,開發(fā)數(shù)據(jù) ETL 流程,滿足數(shù)據(jù)加工系統(tǒng)的數(shù)據(jù)處理需求。
4. 參與大數(shù)據(jù)平臺(tái)核心業(yè)務(wù)功能設(shè)計(jì)與研發(fā),包括流計(jì)算、批計(jì)算功能的開發(fā),以及工作流管理模塊的相關(guān)功能實(shí)現(xiàn)。
5. 跟蹤行業(yè)前沿技術(shù),解決數(shù)據(jù)中臺(tái)項(xiàng)目中遇到的技術(shù)難題,如湖倉融合存儲(chǔ)技術(shù)的應(yīng)用優(yōu)化。
任職要求
1. 計(jì)算機(jī)或相關(guān)專業(yè)本科及以上學(xué)歷,5 年及以上開發(fā)經(jīng)驗(yàn),3 年及以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)。
深入理解數(shù)據(jù)計(jì)算、數(shù)據(jù)建模、數(shù)據(jù)治理,數(shù)據(jù)資產(chǎn),數(shù)據(jù)安全、數(shù)據(jù)服務(wù)共享、數(shù)據(jù)生命周期管理有參與數(shù)據(jù)中臺(tái)項(xiàng)目的實(shí)戰(zhàn)經(jīng)驗(yàn)。
2. 熟練掌握 Hadoop、Spark、Hive、HBase、Flink 等大數(shù)據(jù)工具,熟悉 iceberg、doris 等湖倉存儲(chǔ)引擎技術(shù),有主導(dǎo)大型數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)者優(yōu)先。
3. 精通 SQL,掌握 Oracle、PostgreSQL、MySQL 等至少一種主流關(guān)系數(shù)據(jù)庫。
4. 熟練使用 Java、Python 進(jìn)行代碼編寫,熟悉 Linux 操作系統(tǒng)。
5. 具備實(shí)時(shí) / 離線數(shù)據(jù)處理、數(shù)據(jù)建模、ETL 開發(fā)與設(shè)計(jì)、數(shù)據(jù)治理等經(jīng)驗(yàn),有數(shù)據(jù)分析、指標(biāo)體系構(gòu)建工作經(jīng)驗(yàn)者優(yōu)先。
6. 熟悉常見 RDBMS(如 MySQL、PGSQL),了解 StarRocks、Doris、Clickhouse、GreenPlum 等 MPP 架構(gòu) OLAP 技術(shù)。
7. 掌握 Hudi、doris 技術(shù)原理及架構(gòu)設(shè)計(jì),有實(shí)際項(xiàng)目開發(fā)及性能優(yōu)化經(jīng)驗(yàn)。
8.熟悉海豚調(diào)度系統(tǒng)以及有flink on k8s調(diào)度經(jīng)驗(yàn)

工作地點(diǎn)

上海松江區(qū)G60科創(chuàng)云廊-7號(hào)樓13層

職位發(fā)布者

李晨/總經(jīng)理

剛剛活躍
立即溝通