職位描述
數(shù)倉開發(fā)
1. 依據(jù)湖倉一體數(shù)據(jù)存算系統(tǒng)需求，參與大數(shù)據(jù)平臺整體架構(gòu)設(shè)計，確保數(shù)據(jù)采集、存儲、計算,治理各環(huán)節(jié)高效協(xié)同。
2. 負責大數(shù)據(jù)平臺監(jiān)控及優(yōu)化，保障湖倉存儲、數(shù)據(jù)計算引擎等穩(wěn)定運行。
3. 主導(dǎo)企業(yè)級數(shù)據(jù)倉庫設(shè)計與研發(fā)，進行海量數(shù)據(jù)模型設(shè)計與優(yōu)化，開發(fā)數(shù)據(jù) ETL 流程，滿足數(shù)據(jù)加工系統(tǒng)的數(shù)據(jù)處理需求。
4. 參與大數(shù)據(jù)平臺核心業(yè)務(wù)功能設(shè)計與研發(fā)，包括流計算、批計算功能的開發(fā)，以及工作流管理模塊的相關(guān)功能實現(xiàn)。
5. 跟蹤行業(yè)前沿技術(shù)，解決數(shù)據(jù)中臺項目中遇到的技術(shù)難題，如湖倉融合存儲技術(shù)的應(yīng)用優(yōu)化。
2. 負責大數(shù)據(jù)平臺監(jiān)控及優(yōu)化，保障湖倉存儲、數(shù)據(jù)計算引擎等穩(wěn)定運行。
3. 主導(dǎo)企業(yè)級數(shù)據(jù)倉庫設(shè)計與研發(fā)，進行海量數(shù)據(jù)模型設(shè)計與優(yōu)化，開發(fā)數(shù)據(jù) ETL 流程，滿足數(shù)據(jù)加工系統(tǒng)的數(shù)據(jù)處理需求。
4. 參與大數(shù)據(jù)平臺核心業(yè)務(wù)功能設(shè)計與研發(fā)，包括流計算、批計算功能的開發(fā)，以及工作流管理模塊的相關(guān)功能實現(xiàn)。
5. 跟蹤行業(yè)前沿技術(shù)，解決數(shù)據(jù)中臺項目中遇到的技術(shù)難題，如湖倉融合存儲技術(shù)的應(yīng)用優(yōu)化。
1. 計算機或相關(guān)專業(yè)本科及以上學(xué)歷，5 年及以上開發(fā)經(jīng)驗，3 年及以上大數(shù)據(jù)開發(fā)經(jīng)驗。
深入理解數(shù)據(jù)計算、數(shù)據(jù)建模、數(shù)據(jù)治理，數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全、數(shù)據(jù)服務(wù)共享、數(shù)據(jù)生命周期管理有參與數(shù)據(jù)中臺項目的實戰(zhàn)經(jīng)驗。
2. 熟練掌握 Hadoop、Spark、Hive、HBase、Flink 等大數(shù)據(jù)工具，熟悉 iceberg、doris 等湖倉存儲引擎技術(shù)，有主導(dǎo)大型數(shù)據(jù)平臺建設(shè)經(jīng)驗者優(yōu)先。
3. 精通 SQL，掌握 Oracle、PostgreSQL、MySQL 等至少一種主流關(guān)系數(shù)據(jù)庫。
4. 熟練使用 Java、Python 進行代碼編寫，熟悉 Linux 操作系統(tǒng)。
5. 具備實時 / 離線數(shù)據(jù)處理、數(shù)據(jù)建模、ETL 開發(fā)與設(shè)計、數(shù)據(jù)治理等經(jīng)驗，有數(shù)據(jù)分析、指標體系構(gòu)建工作經(jīng)驗者優(yōu)先。
6. 熟悉常見 RDBMS（如 MySQL、PGSQL），了解 StarRocks、Doris、Clickhouse、GreenPlum 等 MPP 架構(gòu) OLAP 技術(shù)。
7. 掌握 Hudi、doris 技術(shù)原理及架構(gòu)設(shè)計，有實際項目開發(fā)及性能優(yōu)化經(jīng)驗。
8.熟悉海豚調(diào)度系統(tǒng)以及有flink on k8s調(diào)度經(jīng)驗
深入理解數(shù)據(jù)計算、數(shù)據(jù)建模、數(shù)據(jù)治理，數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全、數(shù)據(jù)服務(wù)共享、數(shù)據(jù)生命周期管理有參與數(shù)據(jù)中臺項目的實戰(zhàn)經(jīng)驗。
2. 熟練掌握 Hadoop、Spark、Hive、HBase、Flink 等大數(shù)據(jù)工具，熟悉 iceberg、doris 等湖倉存儲引擎技術(shù)，有主導(dǎo)大型數(shù)據(jù)平臺建設(shè)經(jīng)驗者優(yōu)先。
3. 精通 SQL，掌握 Oracle、PostgreSQL、MySQL 等至少一種主流關(guān)系數(shù)據(jù)庫。
4. 熟練使用 Java、Python 進行代碼編寫，熟悉 Linux 操作系統(tǒng)。
5. 具備實時 / 離線數(shù)據(jù)處理、數(shù)據(jù)建模、ETL 開發(fā)與設(shè)計、數(shù)據(jù)治理等經(jīng)驗，有數(shù)據(jù)分析、指標體系構(gòu)建工作經(jīng)驗者優(yōu)先。
6. 熟悉常見 RDBMS（如 MySQL、PGSQL），了解 StarRocks、Doris、Clickhouse、GreenPlum 等 MPP 架構(gòu) OLAP 技術(shù)。
7. 掌握 Hudi、doris 技術(shù)原理及架構(gòu)設(shè)計，有實際項目開發(fā)及性能優(yōu)化經(jīng)驗。
8.熟悉海豚調(diào)度系統(tǒng)以及有flink on k8s調(diào)度經(jīng)驗
工作地點
上海松江區(qū)G60科創(chuàng)云廊-7號樓1
入職公司信息
- 入職公司: 某大型公司
- 公司地址: 上海浦東新區(qū)
- 公司人數(shù): 10000人以上
認證資質(zhì)
人力資源服務(wù)許可認證
人力資源服務(wù)許可證是由國家人力資源與社會保障相關(guān)部門頒發(fā)，代表人才經(jīng)紀人所在企業(yè)可以合法開展人力資源相關(guān)業(yè)務(wù)的資質(zhì)證件。展示該標簽代表該企業(yè)發(fā)布此職位時已上傳《人力資源服務(wù)許可證》或《人力資源服務(wù)備案證書》并經(jīng)由平臺審驗通過。
相似職位
- 高級數(shù)倉開發(fā)工程師1.8-2.2萬
上海 - 嘉定
上海吉堡教育信息咨詢有限公司 - 數(shù)據(jù)倉庫工程師2-4萬
上海 - 浦東
蘇州人瑞普惠人力資源服務(wù)有限公司 - 數(shù)倉開發(fā)工程師1.4-1.8萬
上海 - 閔行
上海微創(chuàng)軟件股份有限公司 - 數(shù)據(jù)倉庫工程師1.5-1.8萬·14薪
上海 - 浦東
福建國通星驛網(wǎng)絡(luò)科技有限公司 上海 - 黃浦
博彥科技承德有限公司上海 - 長寧
深圳南區(qū)人瑞人力資源服務(wù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
錢佳杰/招聘經(jīng)理
當前在線立即溝通
上海信息人才服務(wù)有限公司
上海信息人才服務(wù)有限公司成立于2002年09月28日,注冊地位于上海市靜安區(qū)華盛路76-82號5層05室。為A股上市國企上海外服集團全資子公司，企業(yè)性質(zhì)為國企。是一家專注于IT領(lǐng)域?qū)I(yè)從事IT人力服務(wù)行業(yè)的國有企業(yè)。
公司主頁