崗位職責(zé):大數(shù)據(jù)平臺構(gòu)建與維護(hù)
1、設(shè)計并開發(fā)高并發(fā)、高可用的大數(shù)據(jù)處理系統(tǒng),基于Hadoop、Spark、Flink等框架構(gòu)建批流一體數(shù)據(jù)管道。
2、負(fù)責(zé)數(shù)據(jù)采集、清洗、轉(zhuǎn)換(ETL)流程開發(fā),對接多源異構(gòu)數(shù)據(jù)(如日志、數(shù)據(jù)庫、API)。
3、維護(hù)集群環(huán)境穩(wěn)定性,優(yōu)化系統(tǒng)性能與資源利用率(如內(nèi)存管理、任務(wù)調(diào)度)。
4、數(shù)據(jù)倉庫與模型開發(fā)。參與離線/實(shí)時數(shù)倉架構(gòu)設(shè)計,基于Hive、Doris、Kafka等組件構(gòu)建分層數(shù)據(jù)模型(ODS→DWD→DWS)。
5、開發(fā)數(shù)據(jù)治理模塊,解決數(shù)據(jù)質(zhì)量問題,建立數(shù)據(jù)血緣與元數(shù)據(jù)管理體系。構(gòu)建指標(biāo)體系,支持業(yè)務(wù)方自助取數(shù)與智能分析需求。
6、應(yīng)用系統(tǒng)開發(fā)
使用Java(SpringBoot/MyBatis/SpringCloud)開發(fā)大數(shù)據(jù)應(yīng)用后端服務(wù),如數(shù)據(jù)中臺、SaaS化分析工具。
實(shí)現(xiàn)數(shù)據(jù)可視化接口,支持前端通過Tableau/Power BI等工具展示分析結(jié)果。