1.主要工作內(nèi)容
1.1.“一湖多倉”建設(shè)
1)持續(xù)建設(shè)數(shù)據(jù)科學(xué)倉、接口服務(wù)倉、監(jiān)管報(bào)送倉。
2)滿足各領(lǐng)域的數(shù)據(jù)服務(wù)需求，充分滿足信息查詢、數(shù)據(jù)獲取等場景。
3)優(yōu)化數(shù)據(jù)服務(wù)功能點(diǎn)，增強(qiáng)API服務(wù)調(diào)用訪問管理，日志增加源頭訪問IP，追溯調(diào)用系統(tǒng)，全方位展示數(shù)據(jù)服務(wù)使用情況。
1.2.“數(shù)據(jù)架構(gòu)”建設(shè)
1)推進(jìn)實(shí)時(shí)數(shù)據(jù)方案建設(shè)，完成實(shí)時(shí)數(shù)據(jù)架構(gòu)在大數(shù)據(jù)平臺(tái)落地。
2)基于設(shè)計(jì)改造方案，完成對數(shù)據(jù)清洗、分析、加工等工作，并保證數(shù)據(jù)一致性與穩(wěn)定性。
1.3.大數(shù)據(jù)平臺(tái)模型建設(shè)
1)豐富大數(shù)據(jù)平臺(tái)模型，完成數(shù)據(jù)清洗、分析等工作，為經(jīng)營分析倉、數(shù)據(jù)科學(xué)倉、接口服務(wù)倉、監(jiān)管報(bào)送倉提供基礎(chǔ)模型支撐，結(jié)合已有模型，整合并開發(fā)基礎(chǔ)數(shù)據(jù)模型（DWD等）。
2)豐富大數(shù)據(jù)平臺(tái)模型，完成數(shù)據(jù)加工等工作，為經(jīng)營分析倉、數(shù)據(jù)科學(xué)倉、接口服務(wù)倉、監(jiān)管報(bào)送倉提供基礎(chǔ)模型支撐，結(jié)合已有模型，整合并開發(fā)基礎(chǔ)數(shù)據(jù)模型（DWA等）。
1.4.支持監(jiān)管報(bào)送
1)承接保單登記個(gè)險(xiǎn)部分等數(shù)據(jù)報(bào)送工作，完成監(jiān)管模型的底層設(shè)計(jì)，保證報(bào)送數(shù)據(jù)的一致性。
2)保證報(bào)送系統(tǒng)運(yùn)行平穩(wěn)、每月按時(shí)完成報(bào)送任務(wù)。
1.5.數(shù)據(jù)質(zhì)量檢核
3)定期完成全部數(shù)據(jù)質(zhì)量檢核,輸出數(shù)據(jù)質(zhì)量檢核結(jié)果。
4)及時(shí)處理質(zhì)量問題,根據(jù)解決方案,完成報(bào)送系統(tǒng)涉及的調(diào)整。
1.6.日常運(yùn)維及其他相關(guān)工作
1)保證數(shù)據(jù)中臺(tái)運(yùn)行平穩(wěn)，對跑批過程中出現(xiàn)的異常情況及時(shí)處理，并合理分配資源調(diào)度，優(yōu)化生產(chǎn)任務(wù)。
2)配合業(yè)務(wù)部門及其他相關(guān)應(yīng)用系統(tǒng)，排查數(shù)據(jù)加工、數(shù)據(jù)服務(wù)的邏輯問題，對發(fā)現(xiàn)的問題及時(shí)處理。
3)維護(hù)測試環(huán)境運(yùn)行，配合相關(guān)應(yīng)用系統(tǒng)及測試需要，完成測試環(huán)境數(shù)據(jù)更新、數(shù)據(jù)服務(wù)聯(lián)調(diào)等相關(guān)數(shù)據(jù)服務(wù)遷移改造工作。
2.人員工作要求
- 負(fù)責(zé)恒安實(shí)時(shí)計(jì)算平臺(tái)與數(shù)據(jù)處理流程的設(shè)計(jì)、開發(fā)與維護(hù)，包括實(shí)時(shí)數(shù)據(jù)采集、清洗、轉(zhuǎn)換、計(jì)算與寫入。
- 具備3年以上實(shí)時(shí)數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉Linux系統(tǒng)，熟悉使用Flink CDC、Kafka等技術(shù)棧，熟悉Starrocks產(chǎn)品。
- 負(fù)責(zé)實(shí)時(shí)任務(wù)的運(yùn)維、監(jiān)控、告警與故障處理，保障 7×24 小時(shí)高可用運(yùn)行。
- 了解CDP產(chǎn)品的相關(guān)組件，包括不限于HDFS、Hive、Solr、Spark、Iceberg等技術(shù)組件，熟練使用Hive/SQL進(jìn)行離線數(shù)據(jù)開發(fā)。