崗位職責(zé)
（1）數(shù)據(jù)處理與存儲(chǔ)
負(fù)責(zé)上游文件的轉(zhuǎn)碼處理，通過(guò)Perl腳本實(shí)現(xiàn)數(shù)據(jù)入庫(kù)，并構(gòu)建分層數(shù)據(jù)倉(cāng)庫(kù)；
使用Shell腳本自動(dòng)化執(zhí)行上線任務(wù)、代碼走查及表腳本開(kāi)發(fā)，提升團(tuán)隊(duì)效率；
將數(shù)據(jù)高效寫入Greenplum數(shù)據(jù)庫(kù)，支持業(yè)務(wù)即席查詢需求，并通過(guò)DataX實(shí)現(xiàn)數(shù)據(jù)同步。
（2）實(shí)時(shí)與離線任務(wù)開(kāi)發(fā)
使用Flink開(kāi)發(fā)華彩生活A(yù)PP相關(guān)實(shí)時(shí)任務(wù)，優(yōu)化數(shù)據(jù)產(chǎn)出效率；
針對(duì)大作業(yè)進(jìn)行性能優(yōu)化，解決數(shù)據(jù)傾斜問(wèn)題，提升任務(wù)運(yùn)行穩(wěn)定性。
（3）數(shù)據(jù)建模與指標(biāo)開(kāi)發(fā)
基于維度建模理論設(shè)計(jì)數(shù)據(jù)模型，統(tǒng)一數(shù)據(jù)口徑，規(guī)范數(shù)據(jù)分層；
編寫業(yè)務(wù)核心指標(biāo)（如五級(jí)分類、違約匯總、連續(xù)登錄用戶等），支撐產(chǎn)品與業(yè)務(wù)決策。
（4）數(shù)據(jù)質(zhì)量與監(jiān)控
優(yōu)化復(fù)雜SQL代碼，提升查詢效率；
使用Python腳本監(jiān)控?cái)?shù)據(jù)質(zhì)量，及時(shí)發(fā)現(xiàn)并處理異常。
（5）文檔編寫與協(xié)作
編寫概要設(shè)計(jì)、需求規(guī)格說(shuō)明書(shū)及測(cè)試報(bào)告等技術(shù)文檔；
協(xié)同產(chǎn)品、業(yè)務(wù)團(tuán)隊(duì)，保障指標(biāo)數(shù)據(jù)準(zhǔn)確性，推動(dòng)數(shù)據(jù)驅(qū)動(dòng)決策。
（6）數(shù)據(jù)整合與展示
拼接埋點(diǎn)、落地頁(yè)及APP內(nèi)數(shù)據(jù)，完善數(shù)據(jù)全鏈路；
通過(guò)Greenplum查詢數(shù)據(jù)并生成報(bào)表，支持業(yè)務(wù)分析需求。
任職要求
1、計(jì)算機(jī)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷；
2、精通Perl/Shell/Python等腳本語(yǔ)言，熟悉Linux環(huán)境開(kāi)發(fā)；
3、熟練掌握Greenplum、Flink等大數(shù)據(jù)技術(shù)棧，有實(shí)際項(xiàng)目經(jīng)驗(yàn)者優(yōu)先；
4、熟悉數(shù)據(jù)倉(cāng)庫(kù)分層理論及維度建模方法，具備SQL優(yōu)化能力；
5、具備數(shù)據(jù)質(zhì)量監(jiān)控意識(shí)，能通過(guò)工具或腳本保障數(shù)據(jù)準(zhǔn)確性；
6、良好的邏輯分析能力與文檔撰寫能力，善于跨團(tuán)隊(duì)協(xié)作；
7、有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。