職位描述
數(shù)據(jù)架構(gòu)數(shù)據(jù)中臺開發(fā)SparkHadoop
職位描述：
1. 數(shù)據(jù)中臺規(guī)劃與定義
負責構(gòu)建“端-邊-云”一體化的數(shù)據(jù)產(chǎn)品架構(gòu)。不僅僅是云端平臺，還需定義車載邊緣端的數(shù)據(jù)過濾策略（如：只上傳觸發(fā)告警前后的高價值數(shù)據(jù)），以平衡存儲成本與數(shù)據(jù)價值。
規(guī)劃多租戶數(shù)據(jù)隔離體系，確保不同項目公司（如A街道B街道）的數(shù)據(jù)在邏輯上隔離，同時支持集團層面的全域數(shù)據(jù)聚合分析。
2. 數(shù)據(jù)體系構(gòu)建
建立異構(gòu)協(xié)議統(tǒng)一標準。針對新石器、高仙、九識等不同廠商的私有協(xié)議，設(shè)計統(tǒng)一的“中間層數(shù)據(jù)模型”，實現(xiàn)狀態(tài)碼、錯誤碼、控制指令的標準化映射。
負責時空數(shù)據(jù)治理。解決多源地圖坐標系（WGS84/GCJ02/UTM）混用問題，構(gòu)建基于H3/GeoHash的高效空間索引機制，支撐毫秒級的電子圍欄判定和路徑規(guī)劃。
3. 模型訓練支撐
設(shè)計自動化數(shù)據(jù)挖掘流程。產(chǎn)品化定義“什么是需要的數(shù)據(jù)”，“什么是壞數(shù)據(jù)”（如：雨雪天、傳感器遮擋、鬼探頭），自動將這些場景數(shù)據(jù)推送到標注平臺，反哺優(yōu)化感知算法。
建設(shè)數(shù)據(jù)集版本管理功能。支持算法團隊對不同版本的訓練集進行回溯、對比，確保模型效果的可復現(xiàn)性。
4. 跨團隊協(xié)作
充當“算法-工程翻譯官”。將算法團隊對數(shù)據(jù)的數(shù)學需求（如：點云密度>100線、幀率>10Hz），轉(zhuǎn)化為車輛采購的技術(shù)指標和工程團隊的開發(fā)需求。
負責外部監(jiān)管對接。主導與政府側(cè)（如住建部ICM、公安交管平臺）的數(shù)據(jù)對接工作，確保數(shù)據(jù)上報符合國家《數(shù)據(jù)安全法》及測繪合規(guī)要求。
5. 產(chǎn)品生命周期管理
建立數(shù)據(jù)成本控制模型。監(jiān)控冷熱數(shù)據(jù)的存儲比例，制定自動歸檔和刪除策略，在保證算法訓練需求的前提下，將云資源成本降低。
負責構(gòu)建“端-邊-云”一體化的數(shù)據(jù)產(chǎn)品架構(gòu)。不僅僅是云端平臺，還需定義車載邊緣端的數(shù)據(jù)過濾策略（如：只上傳觸發(fā)告警前后的高價值數(shù)據(jù)），以平衡存儲成本與數(shù)據(jù)價值。
規(guī)劃多租戶數(shù)據(jù)隔離體系，確保不同項目公司（如A街道B街道）的數(shù)據(jù)在邏輯上隔離，同時支持集團層面的全域數(shù)據(jù)聚合分析。
2. 數(shù)據(jù)體系構(gòu)建
建立異構(gòu)協(xié)議統(tǒng)一標準。針對新石器、高仙、九識等不同廠商的私有協(xié)議，設(shè)計統(tǒng)一的“中間層數(shù)據(jù)模型”，實現(xiàn)狀態(tài)碼、錯誤碼、控制指令的標準化映射。
負責時空數(shù)據(jù)治理。解決多源地圖坐標系（WGS84/GCJ02/UTM）混用問題，構(gòu)建基于H3/GeoHash的高效空間索引機制，支撐毫秒級的電子圍欄判定和路徑規(guī)劃。
3. 模型訓練支撐
設(shè)計自動化數(shù)據(jù)挖掘流程。產(chǎn)品化定義“什么是需要的數(shù)據(jù)”，“什么是壞數(shù)據(jù)”（如：雨雪天、傳感器遮擋、鬼探頭），自動將這些場景數(shù)據(jù)推送到標注平臺，反哺優(yōu)化感知算法。
建設(shè)數(shù)據(jù)集版本管理功能。支持算法團隊對不同版本的訓練集進行回溯、對比，確保模型效果的可復現(xiàn)性。
4. 跨團隊協(xié)作
充當“算法-工程翻譯官”。將算法團隊對數(shù)據(jù)的數(shù)學需求（如：點云密度>100線、幀率>10Hz），轉(zhuǎn)化為車輛采購的技術(shù)指標和工程團隊的開發(fā)需求。
負責外部監(jiān)管對接。主導與政府側(cè)（如住建部ICM、公安交管平臺）的數(shù)據(jù)對接工作，確保數(shù)據(jù)上報符合國家《數(shù)據(jù)安全法》及測繪合規(guī)要求。
5. 產(chǎn)品生命周期管理
建立數(shù)據(jù)成本控制模型。監(jiān)控冷熱數(shù)據(jù)的存儲比例，制定自動歸檔和刪除策略，在保證算法訓練需求的前提下，將云資源成本降低。
任職要求：
1. 硬性門檻
專業(yè)背景：計算機、自動化、GIS、數(shù)學統(tǒng)計等相關(guān)專業(yè)，本科及以上學歷。
核心經(jīng)驗：5-8年互聯(lián)網(wǎng)/物聯(lián)網(wǎng)產(chǎn)品經(jīng)驗。
其中必須包含 3年以上 自動駕駛、車聯(lián)網(wǎng)（IoV）、機器人平臺或AI數(shù)據(jù)中臺（MLOps）的實戰(zhàn)經(jīng)驗。
技術(shù)理解力：
懂車：理解CAN總線、Rosbag、Protobuf、MQTT協(xié)議。
懂地：熟悉GIS地理信息系統(tǒng)，理解高精地圖（HD Map）與SLAM建圖原理。
懂數(shù)：熟悉Hadoop/Spark/Flink大數(shù)據(jù)生態(tài)，了解ClickHouse等實時數(shù)倉特性。
2. 加分項 (Preferred)
有L4級自動駕駛公司（如Momenta/Pony/Waymo）數(shù)據(jù)平臺工具鏈設(shè)計經(jīng)驗者優(yōu)先。
有千萬級設(shè)備接入（IoT）平臺的高并發(fā)處理經(jīng)驗者優(yōu)先。
熟悉數(shù)據(jù)標注平臺設(shè)計，了解2D/3D點云標注流程者優(yōu)先。
專業(yè)背景：計算機、自動化、GIS、數(shù)學統(tǒng)計等相關(guān)專業(yè)，本科及以上學歷。
核心經(jīng)驗：5-8年互聯(lián)網(wǎng)/物聯(lián)網(wǎng)產(chǎn)品經(jīng)驗。
其中必須包含 3年以上 自動駕駛、車聯(lián)網(wǎng)（IoV）、機器人平臺或AI數(shù)據(jù)中臺（MLOps）的實戰(zhàn)經(jīng)驗。
技術(shù)理解力：
懂車：理解CAN總線、Rosbag、Protobuf、MQTT協(xié)議。
懂地：熟悉GIS地理信息系統(tǒng)，理解高精地圖（HD Map）與SLAM建圖原理。
懂數(shù)：熟悉Hadoop/Spark/Flink大數(shù)據(jù)生態(tài)，了解ClickHouse等實時數(shù)倉特性。
2. 加分項 (Preferred)
有L4級自動駕駛公司（如Momenta/Pony/Waymo）數(shù)據(jù)平臺工具鏈設(shè)計經(jīng)驗者優(yōu)先。
有千萬級設(shè)備接入（IoT）平臺的高并發(fā)處理經(jīng)驗者優(yōu)先。
熟悉數(shù)據(jù)標注平臺設(shè)計，了解2D/3D點云標注流程者優(yōu)先。
工作地點
長沙岳麓區(qū)盈峰環(huán)境科技集團股份有限公司
相似職位
- 數(shù)據(jù)開發(fā)工程師8000-12000元·14薪
長沙 - 岳麓
湖南小算科技信息有限公司 - 大數(shù)據(jù)開發(fā)1.1-1.5萬
長沙 - 岳麓
長沙巨云教育咨詢有限公司 - 數(shù)字證據(jù)管理平臺開發(fā)工程師（長沙）1.6-3萬·13薪
長沙 - 岳麓
深圳市憶志科技有限公司 - H84324崗數(shù)據(jù)開發(fā)工程師-長沙1.3-1.5萬
長沙 - 岳麓
武漢佰鈞成技術(shù)有限責任公司 - 數(shù)據(jù)工程師9000-12000元
長沙 - 岳麓
長沙巨云教育咨詢有限公司 - 數(shù)據(jù)開發(fā)1.2-1.4萬
長沙 - 岳麓
深圳市法本信息技術(shù)股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
張女士/招聘經(jīng)理
剛剛活躍立即溝通
盈峰環(huán)境盈峰環(huán)境科技集團股份有限公司，深交所主板上市（股票代碼000967），旗下?lián)碛?49家子公司，全國建有3大產(chǎn)業(yè)基地（長沙、順德、紹興），15個研發(fā)創(chuàng)新平臺，329個服務(wù)網(wǎng)點。公司主營業(yè)務(wù)涵蓋環(huán)保裝備、城市服務(wù)、科學儀器、環(huán)衛(wèi)機器人、垃圾焚燒發(fā)電、風機裝備等，是中國環(huán)境企業(yè)50強、中國機械500強、中國環(huán)衛(wèi)十大影響力企業(yè)。盈峰環(huán)境環(huán)保裝備發(fā)端于國家級科研院所——建設(shè)部長沙建設(shè)機械研究院。盈峰環(huán)境致力于成為受人尊敬和信賴的以清潔服務(wù)機器人為龍頭的智能環(huán)境裝備及服務(wù)的行業(yè)引領(lǐng)者，圍繞以“智能裝備、智云平臺、智慧服務(wù)”為核心的智慧環(huán)衛(wèi)戰(zhàn)略打造出公司強大競爭力。作為環(huán)保裝備領(lǐng)域的開拓者，公司持續(xù)引領(lǐng)產(chǎn)品技術(shù)變革，將人工智能技術(shù)賦能環(huán)衛(wèi)，創(chuàng)新推出了一系列新能源環(huán)衛(wèi)裝備、5G無人駕駛環(huán)衛(wèi)機器人等行業(yè)領(lǐng)先產(chǎn)品，精準解決行業(yè)痛點難點；并將多年在技術(shù)、產(chǎn)品積淀和渠道資源優(yōu)勢延伸到環(huán)衛(wèi)服務(wù)領(lǐng)域，利用以物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等前沿技術(shù)打造的智慧環(huán)衛(wèi)云平臺，開展信息化、網(wǎng)絡(luò)化、數(shù)字化環(huán)衛(wèi)運營服務(wù)。構(gòu)筑起從前端投放、中端運輸?shù)胶蠖颂幚淼娜a(chǎn)業(yè)鏈，用智慧科技締造人與自然的和諧共處。近年來，公司環(huán)保裝備銷售、城市服務(wù)年化合同額、合同總額等多次拿下“行業(yè)第一”，斬獲環(huán)保裝備和城市服務(wù)的“雙冠”業(yè)績。未來，盈峰環(huán)境將緊密圍繞“智慧環(huán)衛(wèi)”戰(zhàn)略，持續(xù)推進環(huán)衛(wèi)行業(yè)向機械化、新能源化、小型化、智能化、云聯(lián)化方向發(fā)展，構(gòu)建環(huán)衛(wèi)新生態(tài)。
公司主頁