一、崗位招聘要求
1. 基礎(chǔ)條件：本科及以上學(xué)歷，軟件工程、數(shù)據(jù)科學(xué)、計(jì)算科學(xué)、信息管理等相關(guān)專業(yè)；具備6年以上軟件開發(fā)經(jīng)驗(yàn)，且擁有3年及以上大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)開發(fā)經(jīng)驗(yàn)，需具備大型數(shù)據(jù)平臺(tái)從0到1搭建的完整項(xiàng)目經(jīng)驗(yàn)。
2. 核心架構(gòu)能力：熟練掌握基于Hadoop/Spark/Flink等生態(tài)的企業(yè)級大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)與開發(fā)，能獨(dú)立負(fù)責(zé)數(shù)據(jù)全鏈路（采集、存儲(chǔ)、處理、分析）的方案設(shè)計(jì)與落地實(shí)施。
3. 數(shù)據(jù)倉庫能力：精通企業(yè)級離線與實(shí)時(shí)數(shù)據(jù)倉庫的設(shè)計(jì)規(guī)范、分層建模（如星型/雪花模型）及研發(fā)全流程，能主導(dǎo)數(shù)據(jù)倉庫的搭建、優(yōu)化與迭代工作。
4. 技術(shù)工具能力：熟練使用SQL（含HiveQL/Spark SQL等大數(shù)據(jù)場景SQL）及主流NoSQL數(shù)據(jù)庫（如HBase、MongoDB）；具備扎實(shí)的數(shù)據(jù)建模能力；掌握容器化部署（Docker/Kubernetes）或BI可視化工具（Tableau、Quick BI等）的使用。
二、崗位工作內(nèi)容
1. 平臺(tái)與架構(gòu)搭建：主導(dǎo)或核心參與企業(yè)級大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫及數(shù)據(jù)湖的架構(gòu)設(shè)計(jì)與開發(fā)工作，負(fù)責(zé)Hadoop、Spark、Flink等核心組件的選型、部署配置與技術(shù)落地。
2. 數(shù)據(jù)處理全流程管控：設(shè)計(jì)并搭建高可用的數(shù)據(jù)采集鏈路，基于Kafka、Flume等組件實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)（日志、業(yè)務(wù)數(shù)據(jù)庫、第三方接口等）的高效采集；開發(fā)、維護(hù)核心ETL任務(wù)，完成數(shù)據(jù)清洗、轉(zhuǎn)換、加載全流程；構(gòu)建穩(wěn)定的實(shí)時(shí)/離線數(shù)據(jù)處理流水線，支撐業(yè)務(wù)報(bào)表生成、AI建模訓(xùn)練等核心業(yè)務(wù)場景，保障數(shù)據(jù)鏈路的穩(wěn)定與高效。
3. 數(shù)據(jù)建模與治理：主導(dǎo)數(shù)據(jù)倉庫分層架構(gòu)（ODS/DWD/DWS/ADS）及數(shù)據(jù)模型的設(shè)計(jì)與優(yōu)化；推動(dòng)企業(yè)數(shù)據(jù)治理體系建設(shè)，覆蓋元數(shù)據(jù)管理、數(shù)據(jù)血緣追蹤、數(shù)據(jù)質(zhì)量監(jiān)控與告警等核心模塊，確保數(shù)據(jù)的準(zhǔn)確性、一致性、完整性與可追溯性。
4. 系統(tǒng)優(yōu)化與問題排查：持續(xù)監(jiān)控大數(shù)據(jù)平臺(tái)性能及數(shù)據(jù)處理任務(wù)運(yùn)行狀態(tài)，針對SQL查詢、Spark/Flink作業(yè)進(jìn)行性能調(diào)優(yōu)，解決數(shù)據(jù)傾斜、任務(wù)延遲、資源瓶頸等核心問題；快速響應(yīng)并處理線上故障（如Executor丟失、Kafka分區(qū)異常、數(shù)據(jù)質(zhì)量問題等），保障系統(tǒng)7×24小時(shí)穩(wěn)定運(yùn)行。