崗位職責(zé):
1 主導(dǎo)公司核心大數(shù)據(jù)平臺(tái)研發(fā),從需求出發(fā)設(shè)計(jì)平臺(tái)架構(gòu),優(yōu)化存儲(chǔ)與計(jì)算性能,讓平臺(tái)能支撐高并發(fā)、高吞吐的業(yè)務(wù)場景;
2 主導(dǎo)企業(yè)級(jí)數(shù)據(jù)倉庫與業(yè)務(wù)主題的策劃、設(shè)計(jì)與落地,基于業(yè)務(wù)場景搭建分層數(shù)據(jù)模型;
3 負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與維護(hù),優(yōu)化存儲(chǔ)結(jié)構(gòu),解決數(shù)據(jù)傾斜、存儲(chǔ)冗余等問題;
4 參與數(shù)據(jù)算法的研發(fā)落地,將機(jī)器學(xué)習(xí)/深度學(xué)習(xí)算法(如聚類、回歸、時(shí)序預(yù)測)嵌入數(shù)據(jù)鏈路,讓業(yè)務(wù)能實(shí)時(shí)獲取用戶分層結(jié)果,支撐個(gè)性化運(yùn)營;
5 參與引入AI工作輔助,提升工作效率,提升監(jiān)控平臺(tái)健康度,提前預(yù)警潛在風(fēng)險(xiǎn).
任職要求:
1 大數(shù)據(jù)技術(shù)棧:熟練掌握 Hadoop、Spark、Flink 等分布式計(jì)算框架,了解 HDFS、YARN 等存儲(chǔ)與資源管理組件;熟悉數(shù)據(jù)倉庫工具(Hive、ClickHouse、Kudu 等),能獨(dú)立設(shè)計(jì)分層數(shù)據(jù)模型;
2 精通 Java/Scala/Python一種語言,有大數(shù)據(jù)平臺(tái)或數(shù)據(jù)倉庫核心模塊開發(fā)經(jīng)驗(yàn)(比如參與過實(shí)時(shí)計(jì)算鏈路搭建、存儲(chǔ)引擎優(yōu)化);
3 了解機(jī)器學(xué)習(xí)框架(如 TensorFlow、PyTorch),能將基礎(chǔ)算法(如聚類、時(shí)序預(yù)測)應(yīng)用到數(shù)據(jù)存儲(chǔ)或挖掘場景,有 AI 工具輔助開發(fā)經(jīng)驗(yàn)(如用自動(dòng)化建模平臺(tái)優(yōu)化數(shù)據(jù)模型)者加分;
4 具備良好的代碼規(guī)范,熟悉 Git、Maven 等開發(fā)工具,能獨(dú)立排查并解決分布式系統(tǒng)問題(如數(shù)據(jù)傾斜、任務(wù)失?。?;
5 能從復(fù)雜業(yè)務(wù)場景中抽象技術(shù)需求,設(shè)計(jì)清晰的技術(shù)方案;
6 面對(duì)技術(shù)難題,能快速定位根因,并給出可落地的優(yōu)化方案;
7 能和業(yè)務(wù)、數(shù)據(jù)分析師順暢溝通,用 “技術(shù)語言講清業(yè)務(wù)價(jià)值”,推動(dòng)跨團(tuán)隊(duì)共識(shí);