崗位職責(zé)
離線數(shù)倉建設(shè)：基于 ClickHouse/Doris 構(gòu)建高性能離線數(shù)據(jù)倉庫，支撐海量歷史數(shù)據(jù)的存儲(chǔ)與分析，優(yōu)化復(fù)雜查詢性能
實(shí)時(shí)數(shù)倉開發(fā)：基于 Kafka 搭建實(shí)時(shí)數(shù)據(jù)管道，設(shè)計(jì)高吞吐、低延遲的實(shí)時(shí)數(shù)倉架構(gòu)，支撐城市運(yùn)行態(tài)勢、設(shè)備狀態(tài)監(jiān)控等實(shí)時(shí)業(yè)務(wù)場景
數(shù)據(jù)集成開發(fā)：熟練使用 DataX、FlinkX 完成多源異構(gòu)數(shù)據(jù)（關(guān)系型數(shù)據(jù)庫、IoT平臺(tái)、API接口、文件系統(tǒng)等）的抽取、轉(zhuǎn)換與加載
實(shí)時(shí)數(shù)據(jù)開發(fā)：基于 Flink、FlinkCDC、SeaTunnel 進(jìn)行實(shí)時(shí)數(shù)據(jù)開發(fā)與流式ETL，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步、增量捕獲、流式聚合計(jì)算
數(shù)據(jù)監(jiān)控體系：基于 Prometheus 搭建大數(shù)據(jù)平臺(tái)與數(shù)據(jù)管道的監(jiān)控告警體系，保障數(shù)據(jù)鏈路穩(wěn)定性與數(shù)據(jù)質(zhì)量
數(shù)據(jù)服務(wù)構(gòu)建：基于 Druid 構(gòu)建OLAP數(shù)據(jù)服務(wù)層，支撐高并發(fā)、低延遲的多維分析查詢與數(shù)據(jù)API服務(wù)
數(shù)據(jù)可視化對接：配合前端與產(chǎn)品團(tuán)隊(duì)，基于 Datart 等可視化工具構(gòu)建數(shù)據(jù)報(bào)表與駕駛艙，實(shí)現(xiàn)數(shù)據(jù)價(jià)值呈現(xiàn)
大數(shù)據(jù)平臺(tái)運(yùn)維：基于 CDH（Cloudera Distribution Including Apache Hadoop） 進(jìn)行大數(shù)據(jù)平臺(tái)的部署、調(diào)優(yōu)與日常運(yùn)維
任務(wù)調(diào)度管理：基于 DolphinScheduler 設(shè)計(jì)復(fù)雜依賴的離線/實(shí)時(shí)任務(wù)調(diào)度策略，保障數(shù)據(jù) pipeline 穩(wěn)定運(yùn)行
數(shù)據(jù)中臺(tái)架構(gòu)：整合以上技術(shù)棧，獨(dú)立負(fù)責(zé)或主導(dǎo)智慧城市/物聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)的架構(gòu)設(shè)計(jì)與落地實(shí)施
基礎(chǔ)要求
計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)
必須具備智慧城市、物聯(lián)網(wǎng)（IoT）、工業(yè)互聯(lián)網(wǎng)或相關(guān)領(lǐng)域2年以上項(xiàng)目經(jīng)驗(yàn)
精通Java/Python至少一種編程語言，具備優(yōu)秀的編碼能力和代碼規(guī)范意識(shí)
| 技術(shù)領(lǐng)域 | 必備技術(shù) | 能力要求 |
| --------- | ------------------------ | ---------------------------------------------------------------------- |
| **離線數(shù)倉** | ClickHouse、Doris | 精通列式存儲(chǔ)原理，具備海量數(shù)據(jù)建模、分區(qū)策略設(shè)計(jì)、查詢優(yōu)化經(jīng)驗(yàn)；能獨(dú)立設(shè)計(jì)高性能離線數(shù)倉架構(gòu) |
| **實(shí)時(shí)數(shù)倉** | Kafka | 精通Kafka集群部署與調(diào)優(yōu)，熟悉生產(chǎn)者/消費(fèi)者機(jī)制、分區(qū)策略、Exactly-Once語義；具備高吞吐場景下的Kafka實(shí)戰(zhàn)能力 |
| **數(shù)據(jù)集成** | DataX、FlinkX | 熟練使用DataX進(jìn)行異構(gòu)數(shù)據(jù)源同步，具備FlinkX實(shí)時(shí)數(shù)據(jù)集成經(jīng)驗(yàn)，能處理復(fù)雜同步場景（分庫分表、增量同步、斷點(diǎn)續(xù)傳） |
| **數(shù)據(jù)開發(fā)** | Flink、FlinkCDC、SeaTunnel | 精通Flink實(shí)時(shí)計(jì)算開發(fā)，熟悉FlinkCDC的MySQL/PostgreSQL等CDC采集，具備SeaTunnel數(shù)據(jù)集成與轉(zhuǎn)換開發(fā)經(jīng)驗(yàn) |
| **數(shù)據(jù)監(jiān)控** | Prometheus | 具備基于Prometheus的大數(shù)據(jù)組件監(jiān)控經(jīng)驗(yàn)，熟悉Grafana可視化告警配置，能構(gòu)建數(shù)據(jù)鏈路可觀測體系 |
| **數(shù)據(jù)服務(wù)** | Druid | 熟悉Druid實(shí)時(shí)OLAP引擎，具備數(shù)據(jù)攝入、維度建模、查詢優(yōu)化經(jīng)驗(yàn)，能支撐高并發(fā)數(shù)據(jù)服務(wù) |
| **數(shù)據(jù)可視化** | Datart | 具備Datart或其他BI工具（Superset、FineBI等）的報(bào)表開發(fā)與數(shù)據(jù)對接經(jīng)驗(yàn) |
| **大數(shù)據(jù)平臺(tái)** | CDH | 熟悉CDH生態(tài)（HDFS、YARN、Hive、Spark、HBase等）的部署、配置與調(diào)優(yōu)，具備集群運(yùn)維與故障排查能力 |
| **任務(wù)調(diào)度** | DolphinScheduler | 精通DolphinScheduler工作流設(shè)計(jì)，具備復(fù)雜依賴調(diào)度、告警配置、任務(wù)容錯(cuò)與灰度發(fā)布經(jīng)驗(yàn) |
行業(yè)經(jīng)驗(yàn)（必備其一）
智慧城市：參與過城市大腦、一網(wǎng)統(tǒng)管、智慧交通、智慧園區(qū)、城市生命線等項(xiàng)目中數(shù)據(jù)平臺(tái)的建設(shè)
物聯(lián)網(wǎng)：具備智能制造、智慧能源、車聯(lián)網(wǎng)、智能家居等IoT平臺(tái)數(shù)據(jù)架構(gòu)設(shè)計(jì)與開發(fā)經(jīng)驗(yàn)
加分項(xiàng)
有完整城市級(jí)數(shù)據(jù)中臺(tái)或物聯(lián)網(wǎng)平臺(tái)0-1建設(shè)經(jīng)驗(yàn)，熟悉華為、阿里、騰訊等主流智慧城市解決方案架構(gòu)
具備云原生大數(shù)據(jù)技術(shù)棧（Kubernetes + 大數(shù)據(jù)組件）實(shí)踐經(jīng)驗(yàn)
熟悉數(shù)據(jù)湖（Hudi/Iceberg/Delta Lake）架構(gòu)，具備湖倉一體建設(shè)經(jīng)驗(yàn)
有AIoT經(jīng)驗(yàn)，熟悉特征工程、實(shí)時(shí)特征計(jì)算與大數(shù)據(jù)平臺(tái)的集成
具備數(shù)據(jù)安全與隱私計(jì)算經(jīng)驗(yàn)，熟悉城市數(shù)據(jù)共享交換平臺(tái)建設(shè)
開源社區(qū)貢獻(xiàn)者或技術(shù)博客/公眾號(hào)作者優(yōu)先