職位描述
數(shù)據(jù)湖滄
1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)（離線/實(shí)時(shí)）的架構(gòu)設(shè)計(jì)及開(kāi)發(fā)，服務(wù)器集群的搭建和部署，支撐數(shù)據(jù)和算法在境內(nèi)外業(yè)務(wù)的應(yīng)用；
2.負(fù)責(zé)?數(shù)據(jù)平臺(tái)的開(kāi)發(fā)、組件調(diào)優(yōu)和運(yùn)維部署，搭建包括數(shù)據(jù)?集、數(shù)據(jù)集成、任務(wù)調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)?緣、DQC等系統(tǒng)，以確保數(shù)據(jù)處理的高效性和準(zhǔn)確性；
3.負(fù)責(zé)搭建高性能、?可用的數(shù)據(jù)管道，支撐用戶行為埋點(diǎn)、實(shí)時(shí)分析及離線數(shù)據(jù)處理需求；參與大數(shù)據(jù)架構(gòu)的規(guī)劃與實(shí)施，推動(dòng)數(shù)據(jù)平臺(tái)的技術(shù)創(chuàng)新和性能提升；
4.優(yōu)化數(shù)據(jù)存儲(chǔ)方案（如MySQL分庫(kù)分表、Redis集群、JuiceFS分布式存儲(chǔ)），提升平臺(tái)數(shù)據(jù)讀寫效率；
- 設(shè)計(jì)并實(shí)現(xiàn)對(duì)多源數(shù)據(jù)的實(shí)時(shí)與離線采集、清洗、轉(zhuǎn)換與存儲(chǔ)，確保數(shù)據(jù)的完整性與準(zhǔn)確性；
- 基于業(yè)務(wù)需求，搭建數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖，對(duì)海量數(shù)據(jù)進(jìn)行ETL和建模，為后續(xù)分析和可視化提供支持；
- 參與大數(shù)據(jù)生態(tài)系統(tǒng)（Hadoop/Spark/Flink等）的選型與落地，優(yōu)化數(shù)據(jù)作業(yè)的性能和資源利用率；
8.與團(tuán)隊(duì)緊密合作，解決復(fù)雜的數(shù)據(jù)處理和分析問(wèn)題，提供技術(shù)解決方案。
任職要求：
- 本科及以上學(xué)歷（硬性條件），計(jì)算機(jī)相關(guān)專業(yè)，5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn)，有完整的分布式數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)項(xiàng)目實(shí)施經(jīng)驗(yàn)；會(huì)使用Doris者優(yōu)先考慮
- 熟悉Hadoop生態(tài)圈和數(shù)據(jù)庫(kù)相關(guān)技術(shù)，有Hive/Iceberg/Spark/Flink/HBase/Elasticsearch/Clickhouse等經(jīng)驗(yàn)者優(yōu)先；
- 熟悉Linux開(kāi)發(fā)環(huán)境，能使用Python/Java/Scala/Go一種或多種編程語(yǔ)言進(jìn)行工程實(shí)現(xiàn)；
- 具備良好的數(shù)據(jù)庫(kù)設(shè)計(jì)和優(yōu)化能力，熟悉SQL及NoSQL數(shù)據(jù)庫(kù)；
- 有數(shù)據(jù)模型設(shè)計(jì)及ETL流程設(shè)計(jì)經(jīng)驗(yàn)，對(duì)數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖的架構(gòu)和實(shí)現(xiàn)有一定認(rèn)知，并能結(jié)合業(yè)務(wù)需求優(yōu)化數(shù)據(jù)管道；
- 熟悉主流容器化與微服務(wù)生態(tài)，如Docker、Kubernetes、API網(wǎng)關(guān)等，能夠在分布式環(huán)境下進(jìn)行部署與調(diào)度；
- 對(duì)高并發(fā)、高可用數(shù)據(jù)系統(tǒng)有一定的設(shè)計(jì)、開(kāi)發(fā)或運(yùn)維經(jīng)驗(yàn)，有真實(shí)上線場(chǎng)景者優(yōu)先；
- 責(zé)任心強(qiáng)，熱愛(ài)技術(shù)擁抱開(kāi)源，有良好的協(xié)作能力和邏輯思維，善于分析和閉環(huán)解決問(wèn)題。
工作地點(diǎn)
山東省青島市嶗山區(qū)九水東路600號(hào)院士專家創(chuàng)新創(chuàng)業(yè)園A區(qū)二層
認(rèn)證資質(zhì)
營(yíng)業(yè)執(zhí)照信息
相似職位
- 數(shù)據(jù)治理工程師5000-7000元
青島 - 市南
青島興程人力資源有限公司 - 數(shù)據(jù)開(kāi)發(fā)工程師7000-12000元·13薪
青島 - 李滄
青島千覺(jué)酒店管理有限公司 - 高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師8000-12000元·14薪
青島 - 嶗山
青島鐳測(cè)創(chuàng)芯科技有限公司 - 初級(jí)數(shù)據(jù)開(kāi)發(fā)工程師4000-7000元
青島 - 市南
青島利誠(chéng)達(dá)軟件科技有限公司 - 數(shù)據(jù)開(kāi)發(fā)1.3-1.5萬(wàn)
青島 - 市北
京北方 - AI生產(chǎn)數(shù)據(jù)開(kāi)發(fā)工程師1-1.5萬(wàn)
青島 - 即墨
正大食品企業(yè)(青島)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李女士/HRBP
三日內(nèi)活躍立即溝通
青島鐳測(cè)創(chuàng)芯科技有限公司青島鐳測(cè)創(chuàng)芯科技有限公司成立于 2018年 3月，由中國(guó)海洋大學(xué)、中科院安光所專家團(tuán)隊(duì)共同發(fā)起，以環(huán)境立體監(jiān)測(cè)激光雷達(dá)為突破口，聚焦智慧風(fēng)電、環(huán)境氣象立體監(jiān)測(cè)、航空安全與效率提升、海洋國(guó)防核心需求，專注于環(huán)境氣象、大氣及海洋探測(cè)激光雷達(dá)的研發(fā)、制造和技術(shù)服務(wù)。公司自主開(kāi)發(fā)激光雷達(dá)信號(hào)采集與處理的 IP核、光電混合微電子芯片及核心元器件、MOPA單頻光纖激光器技術(shù)、核心反演算法，大幅度提高激光雷達(dá)信號(hào)處理能力與系統(tǒng)集成度，提供環(huán)境氣象立體監(jiān)測(cè)、智慧風(fēng)電、航空安全與效率提升的新一代激光雷達(dá)系統(tǒng)解決方案，致力于成為國(guó)際一流的激光雷達(dá)技術(shù)研發(fā)及產(chǎn)業(yè)化平臺(tái)。青島鐳測(cè)創(chuàng)芯科技有限公司現(xiàn)有研發(fā)及生產(chǎn)、測(cè)試基地 4000余平米，研發(fā)團(tuán)隊(duì) 50%人員具有碩士以上學(xué)歷，打造了一支專業(yè)化及高水平的研發(fā)、生產(chǎn)和售后保障團(tuán)隊(duì)。
公司主頁(yè)